细谈Scrapy框架中运用selenium的经验

     首先我是个技术小白，工作的经验也不到一年的时间，但是却在这一年的时间里让我深深体会到了面对问题时对解决的问题的感悟。话不多说，总结一句话就是：这是我的第一篇技术博客，希望大家在阅读的同时能给予一些建议，共同学习进步。

     我们平时写爬虫的代码就是想着构造请求获取响应，但是这只是一般的网站能够让你获取到你想要的数据，面对访问量大、数据宝贵的情况下，你可能就比较失望了。因为正常的发送请求获取到的数据往往是js加密后的数据，所以面对这类的网站，如其研究怎么解密，倒不如直接换一种方案解决，说到这里有经验的人直接就想到了selenium，嗯没错我说的就是selenium，但是我所说的是我工作中真正运用的，所以不同于其他的纯技术类的博客，接下来我就开始详细说一下我对selenium的理解和运用。

1.什么是selenium?

    就是能够模拟浏览器发送请求获取响应，响应的数据就是浏览器上人眼看到的数据（所见即所得），再运用Xpath(这里的语法可以参考官方的用法)来抓取页面上的数据，因为加载的页面数据是没有加密的，所以直接就能获取。

2.PhantomJs无界面的浏览器

     相对于selenium，PhantomJs的无界面浏览器占用内存较小，在爬取数据的时候无需自动开启界面，但是可以通过设置来实现selenium的我界面抓取，具体操作:

from selenium import webdriver
# 创建chrome参数对象
opt = webdriver.ChromeOpt