Python
文章平均质量分 92
天南韩立
这个作者很懒,什么都没留下…
展开
-
Python(3.5.2)集成环境(Anaconda),selenium+PhantomJS+Scrapy搭建(windows10系统下)
Windows环境下,python开发使用Anaconda可以省很多事情,一键安装。Anaconda集成了很多关于python科学计算的第三方库,主要是安装方便,而python是一个编译器,如果不使用Anaconda,那么安装起来会比较痛苦,各个库之间的依赖性就很难连接的很好。编辑器选择pycharm。原创 2017-01-14 17:13:58 · 13323 阅读 · 0 评论 -
python基于selenium+PhantomJS实现搜索交互案例
做python爬虫测试。找了一个比较好测试的网站,基于selenium+PhantomJS填写表单在提交获取结果的功能。至于开发的环境:环境是windows,python版本为3.5.2。selenium+PhantomJS搭建步骤参考:http://blog.csdn.net/u014175572/article/details/544275251、分析网站页面原创 2017-01-14 18:19:34 · 4150 阅读 · 1 评论 -
python基于selenium+PhantomJS实现用提交表单,并点击按钮功能,获取返回的页面源码和ur等信息l。
python做爬取页面功能的时候,会遇到有与网站交互操作的需求,例如要点击某个按钮,填写表单数据。下面用百度搜索作为一个简单的例子模拟实现。代码很简单,12行左右。基于selenium+PhantomJS可以很简单地实现。至于开发的环境:环境是windows,python版本为3.5.2。selenium+PhantomJS搭建步骤参考:http://blog.csdn.net/u014175572/article/details/54427525原创 2017-01-14 17:59:52 · 19031 阅读 · 0 评论 -
scrapy动态设置user agent,使用IP地址池,禁用cookies,设置下载延迟.
转自:http://www.cnblogs.com/rwxwsblog/p/4575894.html1、创建middlewares.pyscrapy代理IP、user agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制,下面我们创建middlewares.py文件。转载 2017-01-20 16:26:33 · 17598 阅读 · 0 评论