python爬虫利器p_Python爬虫之爬虫利器集合

1，requests库

pip install requests

2,Beautiful Soup库

pip install beautifulsoup4

3,lxml库

pip install lxml

4,phantomJs

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。

5,Selenium

selenium,是一个自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。

PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理，完美的三剑客.

pip install selenium

6.pyquery

pip install pyquery

pyquery 可让你用 jQuery 的语法来对 xml 进行操作。