- 博客(9)
- 收藏
- 关注
RSS订阅原创 pymysql报错 AttributeError: 'NoneType' object has no attribute 'encoding'
问题：在用request抓取快代理做ip代理池，把ip信息存储到mysql然后报错。Traceback (most recent call last): File "C:/Python/scrapy/BOSS/tools/IPproxies.py", line 5, in <module> conn = pymysql.connect(host='localhost', ...
2018-12-21 20:43:43
3701
原创 request.get方法报错 'str' object has no attribute 'text'
这是自己用来记录。解决方法：是因为 没写 get方法的参数名，如下：错误写法request.get(body.text)正确写法request.get(text=body.text)
2018-12-21 20:41:47
11642
原创 Scrapy如何实现一个spider中的数据存入不同的表中？
比如，抓取淘宝商家信息存到商家信息表中，淘宝宝贝再存入宝贝表中？如何实现啊啊啊啊啊！！！！？还有scrapy怎么破解图片验证码/？现在已知可以用云打码平台来实现，可是云打码识别出图片中的验证码知乎，接下来怎么该怎么做？cookie？...
2018-12-16 22:08:32
1620
1
原创 Scrapy深度优先与广度优先算法
这个是个人纪录，如果哪里不对，还希望评论里指点，谢谢。深度优先就是：A—&gt;B—&gt;D—&gt;E—&gt;-I–&gt;C—&gt;F—&gt;G—&gt;H广度优先就是：A—&gt;B—&gt;C—&gt;D—&gt;E—&gt;F—&gt;G—&gt
2018-12-08 11:23:07
2058
原创 scrapy 异步存储到mysql
为什么要用异步存储？因为scrapy下载速度会高于存储速度（个人理解，还在改善中。）from twisted.enterprise import adbapiimport pymysqlclass TwistedMysqlPipeline def __init__(self, pool): self.pool = pool @classmethod ...
2018-12-08 11:22:26
231
原创 scrapy异步存存储mysql，但是数据库没有数据。
1.是否连接池参数名或参数是否正确。2.def __init__(self, pool): self.pool = pool 函数名是不是写成 int3.写sql时候是否出现中文括号（一开始写成中文括号，找半天问题！这一定要注意） sql = """ insert into tb_info (id, title, genre) values (%s, %s, ...
2018-12-08 11:11:58
994
原创 爬虫能做什么
搜索引擎：百度，谷歌，垂直领域搜索。推荐引擎：今日头条（通过浏览习惯，来猜测用户感兴趣的内容）机器学习数据分析：金融分析，舆情分析等等。以上是来自慕课网：__bobby老师的教学视频有一部分是自己的理解，可能不太对。...
2018-11-25 16:50:37
2120
1
转载 安装Scrapy报错：Microsoft Visual C++ 14.0 is require
参考：https://blog.csdn.net/u012735708/article/details/82706128问题：win10 python版本3.7.1 安装pip install scrapy中报错如下error: Microsoft Visual C++ 14.0 is required...解决：通过http://www.lfd.uci.edu/~gohlke/p...
2018-11-25 16:36:54
218
转载 win10安装python3.71
嗯，此博客主要是用来日常积累与其他。如果有哪里不对，请明示。如果哪里有冒犯，请留言。如果刚入门的或者想学编程，请不要看，可能会引起很大的问题。这篇博客参照链接：https://www.cnblogs.com/weven/p/7252917.html官网下载：选择版本：选择与自己电脑位数相同的，32位的不能安装64位，64位可以安装32位。我这里是64。这个三个分别是...
2018-10-21 19:42:57
872
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人