泛泛之素

相对于boss直聘，拉勾没有那个访问时间长就提示验证。from selenium import webdriverimport timefrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitfrom bs4 import Be

boss直聘web端的反爬做得还是不错的，需要通过下载js文件结合浏览器生成token，一时也没太搞明白，所以通过selenium获取数据，顺手把投投简历。即便是使用selenium也只能获取部分数据，因为获取数据的数量被限制，无论是搜索或是在公司（300条）都限制和获取数据的数目，因此这里有个方向是可以根据推荐进行获取数据 。还有就是访问长了还会提示要验证，而且那个验证也是比较复杂，人工看有时候都得看半天。from selenium import webdriverimport timefrom

准备工作首先安装scrapy框架：pip install scrapy还要用到mongodb,mongodb安装百度一下，网上很多。pip install pymongo这回我们要分析移动端的网页，需要使用使用火狐浏览器上的一个插件更改user-agent来模仿手机访问网页。 首先下载安装火狐浏览器； 然后，进入附加组件： 在扩展里搜索user agent switcher，第一个安装，使

scrapy-redis，手机网页，房天下租房信息，分布式，代理ip

代理网站比较多，有免费的有收费的，我们爬取的数据并不多，用免费的就好，免费代理有个致命缺点就是少数可用，所以我们爬取下来以后最好还要验证一下，验证的逻辑就是访问正常网站，返回状态200的保留，否者删除就好。

url = 'http://npm.taobao.org/mirrors/chromedriver/'

爬虫策略制定1、 从东方财富网中获取(http://quote.eastmoney.com/stocklist.html)股票代码 2、 从网易财经中可以直接下载csv格式文件，地址类似于http://quotes.money.163.com/trade/lsjysj_600508.html#01b07 3、 两个网站都不需要cookie，很好爬，注意控制访问时间间隔就可以，爬信息不要太暴...

长租公寓算是国内正在规范化的一个产业，其中比较正规的比较大的有某如、某壳，想要对长租公寓行业做一些简单的数据分析，于是乎爬虫搞起来，柿子挑软的捏：从某壳下手。爬虫策略说实话，某壳的数据挺好爬的，没有比较变态的反爬措施（某如有：价格是图片，不过也好解决，下一篇写哈），只要不是频繁请求的话应该就没事儿（我都是sleep1秒以上的，反正就爬一次而已），本人不支持暴力爬取，动不动就多线程、多进程、代理...

某如的数据爬取策略其实跟某壳的差不多，就不多说了，可以看看那篇：https://blog.csdn.net/tonydz0523/article/details/86631664爬虫策略某如的数据爬取策略其实跟某壳的差不多，就不多说了，可以看看那篇：https://blog.csdn.net/tonydz0523/article/details/86631664某如的价格是图片格式，不能正常...