scrapy爬虫实例：凤凰网

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

一、新建项目和文件

scrapystartprojectifengHotNews

（iem.json是数据写入json后才生成的）

二、hotNews.py

三、Pipelines.py

此处有亮点，注意写入json的方法，import codecs ！！

加个编码规则可以避免出现json里面的中文出现乱码的情况！

四、settings.py

将里面的下列注释#去掉

五、运行

scrapy crawl hotNews

（查看item.json文件，标题已经保存好）

网页结构：

//div[@id="headLineDefault"]/ul/ul[2]/li

遍历标题 txt = con.xpath('a/text()').extract_first()