![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
LL小蜗牛
这个作者很懒,什么都没留下…
展开
-
scrapy+selenium爬取某招聘网站的职位、公司、面试评论
前一段时间因某些原因再次与爬虫碰面了,这次是爬取拉勾网的一些信息并利用wordcloud生成词云,并使用pyechart生成一些统计信息什么的爬取前还是要观察拉勾网的一个页面结构,一般都是有规律可循的首先查看职位要求比如要爬取对应的信息,这里选用xpath定位相应的位置,可以使用scrapy -shell 进行调试,但在调试要加上USER_AGENTscrapy shell ...原创 2019-12-19 23:58:36 · 1033 阅读 · 1 评论 -
Python+Eclipse+scrapy
最近入门爬虫,然后发现网上的关于python+eclipse+scrapy环境搭建的文章相对较少,首先我们先安装python环境,访问https://www.python.org/downloads/windows/,我的是windows的,选择相对应的版本类似 python-XYZ.msi,然后一直下载好后像其他软件一样打开,选择安装路径等等,然后就是设置环境变量(让系统知道python环境...原创 2018-05-30 15:24:04 · 1025 阅读 · 0 评论 -
scrapy爬取帅哥图片网站
前言:关于scrapy的介绍网上有很多,在实现这个爬图片过程也遇到很多坑,我用的是python2.7.15,scrapy版本是1.5,遇到问题时可以根据自己的开发环境寻找对应的帮助文档。先说说主要思路:1.先了解scrapy,这个是介绍的挺好的文章,还有实战观看2.分析网站结构,确定爬取策略3.根据爬虫过程中遇到的问题进行解决,如设置代理,user-agent,禁用cookie等等即防反爬策略本来...原创 2018-06-01 22:22:53 · 598 阅读 · 0 评论