![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 51
「已注销」
上善若水
展开
-
Scarpy + chromedriver + Selenium : Unhandled error in Deferred
解决方法:分析步骤一:可能是你的pywin32版本不太对,你要安装的pywin32一定要与你Python的版本相一致才能兼容(作为初学者这个问题会像朋友一样与你相伴的,不过从容面对,一切皆非问题)如果Python是32就从Python扩展包 下载32位的,是64就下载64的,下面是pywin32的下载地址 :https://sourceforge.net/projects/pywin32/...原创 2018-11-15 16:08:22 · 276 阅读 · 0 评论 -
细谈Scrapy框架中运用selenium的经验
首先我是个技术小白,工作的经验也不到一年的时间,但是却在这一年的时间里让我深深体会到了面对问题时对解决的问题的感悟。话不多说,总结一句话就是:这是我的第一篇技术博客,希望大家在阅读的同时能给予一些建议,共同学习进步。 我们平时写爬虫的代码就是想着构造请求获取响应,但是这只是一般的网站能够让你获取到你想要的数据,面对访问量大、数据宝贵的情况下,你可能就比较失望了。因为正常的发送...原创 2018-11-15 16:11:07 · 2613 阅读 · 0 评论 -
有趣的Python--Tkinter图形化界面
Tkinter模块("Tk 接口")是Python的标准Tk GUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样可以应用在Windows和Macintosh系统里.Tk8.0的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中。安装了IDE的小伙伴先来动手试试第一个小例子:# coding=utf-8import Tkinterimport tkS...原创 2018-11-15 16:23:27 · 3086 阅读 · 0 评论 -
关于免费解决RedHat6.4的原因:This system is not registered to Red Hat Subscription Management
这个问题归根结底就是因为:redhat的yum源是需要注册付费的(这个原因就是如此简单粗暴)面对这个问题难道就付费?怎么可能。Windows怎么想? 接下来就是解决方案:Step1: 删除自带的yum查看已安装的yum : rpm -qa|grep yum卸载已安装的yum : rpm -qa|grep yum|xargs rpm -e --nodeps再次查看安装的yum ...原创 2018-11-15 16:28:26 · 7971 阅读 · 5 评论 -
Scrapy框架item pipeline异步保存数据
在使用Scrapy框架时,面对多个爬虫此时每个爬虫爬取的数据都来自不同的网站或者不同的数据的时候,就需要高效率的将数据存储到数据库。这里就用到了异步机制来保存数据好了,不BB了。show code :class MysqlTwistedPipeline(object): #采用异步的机制写入mysql def __init__(self,dbpool): ...原创 2018-11-15 16:32:05 · 1134 阅读 · 0 评论 -
Selenium+PhantomJS 报错原因+解决方案+优化方案
使用selenium+PhantomJS动态抓取网页时,出现如下报错信息:UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.warn('Selenium support for...原创 2019-02-13 17:28:20 · 2034 阅读 · 0 评论 -
Python version 2.7 required, which was not found in the registry 的问题解决
最近模拟鼠标点击网页来爬取数据,碰到安装pyhook的第三方库。在安装pyHook-1.5.1.win32-py2.7.exe时报错了。报错的内容为:Python version 2.7 required, which was not found in the registry这时候需要注册一下python 2.7才能安装。这里创建一个文件 register.py 然后执行该脚本.(...原创 2019-03-19 15:18:52 · 1182 阅读 · 0 评论 -
Scrapy + 阿布云代理 + 手动自动配置
代理原理 介绍代理指的就是代理服务器,英文 叫作 proxy server,它的功能是代理网络用户 去取得网络信 息。形象地说,它是网络信息的中转站(可以直白的理解为中介)。 当我们请求一个网站时, 通常是将请求给 Web服务器, Web 服务器再把响应传回给我们 。 如果设置了代理服务器 , 就是在本机和服务器之间搭建了 一个 桥梁,先向代理服务器发出请求,请求会发送给代理服务器,然后由代理...原创 2019-03-11 12:06:59 · 1528 阅读 · 0 评论 -
Selenium + Firefox 的相关使用和问题解决方案
最近在爬国家药品监督管理局的网站,发现之前的通过表单提交获取数据的方式不再适用,于是我起初觉得这个方法不行那就尝试着看看能不能通过调试js找到接口可以直接拿数据,但是现实总是那么残酷呀!全是加密的js,我起初又觉得这个应该有方法破解的,但是现实还是给了我暴击,我花了一周的时间依旧是毫无头绪,不过这个过程也并非一无收获的,至少在我多方打听后得知是一个叫瑞数的公司(他们的老巢:http...原创 2019-03-13 18:31:08 · 764 阅读 · 0 评论