python scrapy 爬虫未完待续

最新推荐文章于 2021-10-25 17:01:38 发布

power0405hf

最新推荐文章于 2021-10-25 17:01:38 发布

阅读量890

点赞数

分类专栏： python 文章标签： python scrapy

本文链接：https://blog.csdn.net/power0405hf/article/details/47002099

版权

本文介绍了Python的Scrapy框架，详细讲解了爬虫的组成部分，包括下载器和网页处理。阐述了Scrapy的安装及Twisted库的作用。接着，文章探讨了创建第一个Scrapy爬虫、如何模拟浏览器解析JS以及模拟登录。最后提到了爬取京东商品评论的实践，但内容未完待续。

摘要由CSDN通过智能技术生成

0. 爬虫

Scrapy 轻松定制网络爬虫

0.1 爬虫的两部分：

1.下载Web页面

最大程度的利用本地带宽
调度针对不同站点的Web请求以减轻对方服务器的负担
DNS查询
遵循一些行规（如robots.txt）

2.对网页的处理

获取动态内容
Spider Trap
内容去重

1.scrapy

1.1 安装scrapy

pip install scrapy
pip install service_identity

不装service_identity会出现警告：

warning：
:0: UserWarning: You do not have a working installation of the service_identity
module: 'No module named service_identity'.  Please install it from <https://pyp
i.python.org/pypi/service_identity> and make sure all of its dependencies are sa
tisfied.  Without the service_identity module and a recent enough pyOpenSSL to s
upport it, Twisted can perform only rudimentary TLS client hostname verification
.  Many valid certificate/hostname mappings may be rejected.