爬虫
scrapy, selenium
势无形
这个作者很懒,什么都没留下…
展开
-
splinter,selenium 找不到chromedriver
使用splinter, chromedriver 放在当前目录是可以找到的. 放在其他目录就找不到了. 设置系统路径也不行. 报错如下:selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.go原创 2017-06-06 18:13:01 · 1996 阅读 · 1 评论 -
【转】Selenium WebDriver的简单操作说明
转自网络:1.打开一个测试浏览器对浏览器进行操作首先需要打开一个浏览器,接下来才能对浏览器进行操作。 Java代码import java.io.File; import org.openqa.selenium.WebDriver;importorg.openqa.selenium.firefox.FirefoxBinary转载 2017-06-05 15:02:32 · 838 阅读 · 0 评论 -
selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
今天把手头有的一些关于selenium测试的资源整理了一下,分享出来。1. 所有版本chrome下载是不是很难找到老版本的chrome?博主收集了几个下载chrome老版本的网站,其中哪个下载的是原版的就不得而知了。http://www.slimjet.com/chrome/google-chrome-old-version.phphttp://go转载 2017-06-05 14:59:07 · 1716 阅读 · 0 评论 -
selenium 使用记录
mac下利用pycharm编写Python+selenium,一直在提示“selenium.common.exceptions.WebDriverException: Message: Unable to find a matching set of capabilities”, 原因是 firefoxdirver0.16的驱动和selenium3.4.1 不兼容。使用以下版本搭配,原创 2017-05-08 00:57:11 · 4136 阅读 · 0 评论 -
scrapy 缺少win32api模块的解决方法
http://blog.csdn.net/little_sow/article/details/46408931scrapy 缺少win32api模块的解决方法转载 2015-07-30 01:44:20 · 721 阅读 · 0 评论 -
scrapy 爬取https网页时出现ssl错误
还有好多错误代码没有保存下来,错误发生在Openssl/SSL.py中:AttributeError: 'NoneType' object has no attribute '_app_data'卸载scrapy 和 ssl 后,重新安装一遍解决了。 注意安装的顺序,先pyopenssl 后 scrapypip uninstall scrapypip uninstall pyopensslpi原创 2015-08-27 02:03:52 · 6334 阅读 · 0 评论 -
淘宝搜索技术代码你知多少
转自:http://club.1688.com/threadview/46383330.html 最后编辑时间: 2015年01月23日 22:14 如果你是数据控,喜欢研究淘宝数据后面的含义; 如果你是技术控,喜欢研究淘宝搜索技术漏洞; 这篇文章一定合你胃口,活生生的代码目录了,哪里不会点哪里!为什么会写这篇文章呢? 因为经常会被一些爱好数据的朋友,跟爱好钻研淘宝技术漏洞的朋友转载 2015-08-27 03:17:35 · 6729 阅读 · 0 评论 -
scrapy 如何修改请求头
在settings.py文件中添加DEFAULT_REQUEST_HEADERS = { 'accept': 'image/webp,*/*;q=0.8', 'accept-language': 'zh-CN,zh;q=0.8', 'referer': 'https://www.taobao.com/', 'user-agent': 'Mozilla/5.0 (Win原创 2015-08-27 02:07:36 · 18057 阅读 · 0 评论