python 爬虫相关技术
phantomjs :一个基于 WebKit 的服务器端 JavaScript API,就是一个提供了js接口的无界面浏览器。
selenium:Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动化操作,不同是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。
Selenium库里有一个叫WebDriver的API。WebDriver可以控制浏览器的操作,它可以像BeautifulSoup或者其它Selector对象一样用来查找页面元素,与页面上的元素进行交互(发送文本、点击等),以及执行其他动作来运行网络爬虫。
就是一个可以模拟人操作的软件(如输入内容,产生点击等),主要用于与浏览器的交互操作
PyQuery:PyQuery库也是一个非常强大又灵活的网页解析库,用于解析HTML中的元素和内容,类似jquery,主要用于查找相关的元素,减少难度(相对于正则表达式),也可以进行一些DOM的操作
Pyspider:爬虫框架,有WEB页面进行管理和调试爬虫过程,有任务调度功能。基实就是一个python的应用,你可以创建一些符合Pyspider标准的爬虫代码(或叫一个爬虫任务),当你运行时Pyspider就会创建任务并执行你的代码来完成你想要的功能。(可以进行分布式搭建)
phantomjs :一个基于 WebKit 的服务器端 JavaScript API,就是一个提供了js接口的无界面浏览器。
selenium:Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动化操作,不同是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。
Selenium库里有一个叫WebDriver的API。WebDriver可以控制浏览器的操作,它可以像BeautifulSoup或者其它Selector对象一样用来查找页面元素,与页面上的元素进行交互(发送文本、点击等),以及执行其他动作来运行网络爬虫。
就是一个可以模拟人操作的软件(如输入内容,产生点击等),主要用于与浏览器的交互操作
PyQuery:PyQuery库也是一个非常强大又灵活的网页解析库,用于解析HTML中的元素和内容,类似jquery,主要用于查找相关的元素,减少难度(相对于正则表达式),也可以进行一些DOM的操作
Pyspider:爬虫框架,有WEB页面进行管理和调试爬虫过程,有任务调度功能。基实就是一个python的应用,你可以创建一些符合Pyspider标准的爬虫代码(或叫一个爬虫任务),当你运行时Pyspider就会创建任务并执行你的代码来完成你想要的功能。(可以进行分布式搭建)