Python
nononotles
这个作者很懒,什么都没留下…
展开
-
Scrapy 运行命令报错Unhandled error in Deferred scrapy
跟着教程做第一个小爬虫,输入命令scrapy crawl baidu --nolog#scrapy crawl+爬虫名 –nolog即不显示日志结果报错Unhandled error in Deferred scrapy,百度了很久得到解决方案:进入Python27目录下,手动安装,可以在命令行使用python Python27\Scripts\pywin32_postinstal原创 2018-01-23 10:24:03 · 10608 阅读 · 4 评论 -
Scrapy 爬虫学习
scrapy shell "http://quotes.toscrape.com/page/1/" #windows系统必须使用双引号,否则报错ValueError: invalid hostname: 'http>>> response.css('title') #返回一个名为List的对象SelectorList,表示包含Selector的XML/HTML元素的对象列表,允许用户运行进一步的原创 2018-01-23 15:53:30 · 287 阅读 · 0 评论 -
Python 报错解决方法
1、在学习爬虫时,将代码复制上去试着运行,结果就报出一下错误:SyntaxError: Non-ASCII character '\xe5'百度了一下,在这里记录一下解决方法:出现这个错误的原因是python默认的编码是ASCII码,而文件中出现中文,需要在文件开头输入:# -*- coding:UTF-8 -*-,再运行发现问题已经解决。2、python注释方法(pycharm)原创 2018-01-16 14:34:28 · 2529 阅读 · 0 评论 -
Python html中一级元素.next_sibling打印为空
在学到BeautifulSoup库的兄弟节点有了疑惑,希望见到这篇文章的各位大神们能帮我解决这个疑惑。以下是出现问题的代码,没有报错,只是实现与我期望的不同。from bs4 import BeautifulSoupsibling_html = """ biubiubiupiupiupiu 哔哩哔哩原创 2018-01-17 16:11:39 · 2218 阅读 · 0 评论 -
scrapy使用extract()输出unicode转为中文的方法
就是一个简单的小爬虫,因为爬的是小说网站的正文,一开始发现用extract_first()只能爬到正文的第一句话。但如果是用extract()又会print出一堆unicode,百度了好久,根据百度的方法主要有两种:1、字符串unicode转换为中文print str.decode("unicode-escape")是有用的。但因为我获取的是选择器列表,所以需要遍历选择器列表,但当我遍历以后再爬一...原创 2018-04-11 22:41:39 · 4567 阅读 · 4 评论