python开发简单爬虫

萌新白给

于 2016-10-31 01:19:08 发布

阅读量369

点赞数

本文链接：https://blog.csdn.net/ggsimida2016/article/details/52977138

版权

本文介绍如何使用Python开发基础爬虫，包括确定爬取目标、分析抓取策略、编写抓取代码，以及处理Python2和Python3的编码差异。在实践中，要注意关闭网络连接以避免资源占用，并将抓取数据存储到数据库中。

摘要由CSDN通过智能技术生成

确定目标：哪个网站哪些网页哪部分数据

分析目标：制定抓取策略——url格式、数据格式、网页编码

编写代码：使用抓取策略结果

使用爬虫抓取

1.要注意Python2与Python3的编解码区别

    def output_html(self):
        fout = open('output.html','w',encoding='utf-8')
        fout.write("<html> ")
        fout.write("<meta charset='utf-8'>")
        fout.write("<body>")
        fout.write("<table>")
        for data in self.datas:
            fout.write("<tr>")
            fout.write("<td>%s</td>" % data['url'])
            fout.write("<td>%s</td>" % data['title'])
            fout.write("<td>%s</td>" % data['summary'])
            fout.write("</tr>") 
        fout.write("</table>")
        fout.write("</body>")
        fout.w