![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
帅欢
这个作者很懒,什么都没留下…
展开
-
爬取智联招聘网站的手段(scrapy)
首先www.zhaopin.com是智联招聘网站的首页,进行搜索后,比如搜Java,点右键查看网页源代码可以看到,网页里面搜到的内容是异步加载的如图所示:然后点击f12打开开发者工具,如图:再点击刷新查看发送的异步请求,并进行分析:可以看到发送了两个异步请求,发现第二个是个后端接口,直接拿到postman中进行测试 ,如图:发现是标准的接口,直接调用接口即可爬取到网...原创 2018-08-03 10:21:42 · 4214 阅读 · 2 评论 -
Scrapy爬取拉钩网的爬虫(爬取整站CrawlSpider)
经过我的测试,拉钩网是一个不能直接进行爬取的网站,由于我的上一个网站是扒的接口,所以这次我使用的是scrapy的整站爬取,贴上当时的代码(代码是我买的视频里面的,但是当时是不需要登陆就可以爬取的):class LagouSpider(CrawlSpider): name = 'lagou' allowed_domains = ['www.lagou.com'] sta...原创 2018-08-03 10:44:29 · 1069 阅读 · 1 评论