反反爬

1.反爬措施以及应对措施

（1）通过user-agent客户端标识来判断是否是爬虫
解决：封装user-agent请求头
（2）通过访问的频率来判断
解决：设置爬取的间隔
（3）封ip
解决：设置代理
（4）页面无法直接获取数据，显示的是js代码
解决：selenium+phantomjs可以获取页面数据

2.动态html页面的处理方法

（1）js

html是页面的骨架，css是装饰器，js是页面的灵魂

（2）jquery

jquery封装了js库，可以使js代码更加简洁

（3）ajax

web页面的异步请求，是一种技术

3.selenium+phantomjs的安装

定义：
selenium：他是web自动测试工具。
pantomjs：他是一个无界面的浏览器。所以他可以运行js代码，帮我们拿到页面数据。
所以selenium+phantomjs就可以解决页面是js代码的这种网站数据的获取问题。
（1）selenium和phantomjs的下载
selenium:

pip install selenium==2.48.0

phantomjs:
直接百度phantomjs的镜像（2.1.1）
注：选择这两个版本的原因是这两个版本比较稳定
（2）将这两个可执行文件放在Anaconda的scripts文件下
（3）下载chromedriver的镜像
注：要与自己的谷歌浏览器的版本对应