爬虫
Jessie_Sun_
这个作者很懒,什么都没留下…
展开
-
scrapy爬虫实例w3school报错ImportError: No module named w3school.items
爬虫例程就不整个叙述了,百度一下超多的,贴上一篇经过验证可以爬取的例程的网址 http://blog.csdn.net/u012150179/article/details/32911511下面是我在运行时中出现的错误错误ImportError: No module named w3school.items相应的错误的代码是 from w3school.items import W3S原创 2017-09-12 17:10:22 · 350 阅读 · 0 评论 -
python UnicodeDecodeError: 'ascii' codec can't decode byte ...
在运行scrapy爬虫程序的时候出现UnicodeDecodeError贴上错误原因与注册表有关,可能与某些国产软件对注册表的改写的gbk格式导致python无法进行第三方库的安装操作。解决方法:打开C:\Python27\Lib下的 mimetypes.py 文件,找到大概256行(你可以用Notepad++的搜索功能)的‘default_encoding = sys.g原创 2017-09-12 17:30:12 · 449 阅读 · 0 评论 -
Cookies 模拟登录
#coding=utf-8import requestsfrom lxml import etreefrom multiprocessing.dummy import Poolcook={"Cookie":"your cookies"}url ='http://weibo.cn/u/uid'#html=requests.get(url).content#print html原创 2017-09-12 17:32:05 · 458 阅读 · 0 评论 -
SNIMissingWarning和InsecurePlatformWarning警告
在爬取weibo.com等动态网站时,pycharm在运行时会提出SNIMissingWarning和InsecurePlatformWarning警告详细警告内容如下: D:\Python2.7.6\lib\site-packages\requests\packages\urllib3\util\ssl_.py:315: SNIMissingWarning: An HTTPS re原创 2017-09-12 17:35:07 · 1008 阅读 · 0 评论 -
获取新浪微博cookie
之前也百度了一下如何获取新浪微博cookie,附上其中出现频率最高的教程的网址 https://www.douban.com/note/264976536/?start=0#32893498自己按照上面的步骤试了一下,然后发现找不到weibo.com,然后就试了一下其他用移动端微博就可以 www.weibo.cn首先也是用chrome浏览器打开,F12打开(我的键盘好像没有转换,所以要用F原创 2017-09-12 17:36:36 · 9130 阅读 · 0 评论