python问题及解决方案
文章平均质量分 69
Urila
这个作者很懒,什么都没留下…
展开
-
py文件输出html内容显示编码问题及解决方案
问题描述: 在py文件中输出和html内容,但是显示编码错误代码如下#主页面和tr进行拼接html ="""<!DOCTYPE html><html lang="en"><head> <title>index</title></head><body&原创 2018-12-01 16:03:11 · 1088 阅读 · 0 评论 -
Python_安装selenium,导入FileNotFoundError: [WinError 2] 系统找不到指定的文件in start os.path.basename(self.path)
成功安装selenium后,导入失败,报错如下Traceback (most recent call last): File "E:\project\venv\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start stdin=PIPE) File "E:\Anaconda3\lib\...原创 2018-12-10 16:51:27 · 869 阅读 · 0 评论 -
使用ip代理池爬虫时,requests模块get请求出现问题_AttributeError: 'str' object has no attribute 'get'
问题描述:项目使用ip代理池对网页进行数据爬取,但是requests模块get方法出现问题,出错如下: File "E:\project\venv\lib\site-packages\requests\api.py", line 75, in get return request('get', url, params=params, **kwargs) File "E:\pro...原创 2018-12-17 12:51:33 · 8767 阅读 · 0 评论 -
scrapy_TypeError: Object of type 'QiubaiItem' is not JSON serializable
问题描述:使用scrapy对糗事百科进行爬虫的时,在spider文件中返回在items文件的实例化对象,然后在管道文件进行磁盘持久化的时候,想将从spider文件传过来的数据通过json转换成字符串然后在写入文件,结果报错Traceback (most recent call last): File "e:\anaconda3\lib\site-packages\twisted\in...原创 2018-12-27 23:48:33 · 578 阅读 · 0 评论 -
python_windows下PySpider敲的代码在哪里?以及如何重新执行已经完成的爬虫项目
问题描述:使用PySpider进行爬虫,已经执行完代码,项目的进度已经完成,显示百分之百,由于修改了代码,想重新执行,但是一直显示爬虫项目已经完成。原因分析:当你在执行完爬虫的项目的时候,系统会将你的执行信息在本地进行存放,再次执行的时候会先看你的执行信息,如果已经完成,系统则会显示已经完成,不会真正的再一次进行爬虫。解决:所以我们要找到本地存放PySpider相关文件的路径,进行...原创 2018-12-22 17:34:06 · 826 阅读 · 0 评论 -
Python_PyQuery模块打开本地文件报错UnicodeDecodeError: 'gbk' codec can't decode byte 0xa0 in position 84
问题描述:在使用pyquery.PyQuery打开本地文件的时候,会报错,不是安装的问题,报错如下UnicodeDecodeError: 'gbk' codec can't decode byte 0xa0 in position 84: illegal multibyte sequence'gbk'编解码器无法解码位置84的0xa0字节:非法多字节序列代码如下:from pyq...原创 2018-12-12 09:50:08 · 3906 阅读 · 0 评论 -
python_scrapy_TypeError: 'LuboavSpider' object is not iterable问题及解决
问题描述:在使用scrapy进行网络爬虫的时候,在pipelines处理结果,并保存到db中的时候出现了TypeError: 'LuboavSpider' object is not iterable错误# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipelin...原创 2018-12-23 22:07:55 · 1713 阅读 · 0 评论 -
python_安装tesserocr后调用image_to_text报错_Failed to init API, possibly an invalid tessdata path:
问题描述:在tesserocr后使用使用image_to_text依旧报错,如下:import tesserocrfrom PIL import Imageimage = Image.open("test.jpg")res = tesserocr.image_to_text(image)print(res)Traceback (most recent call last):...原创 2018-12-19 11:39:16 · 1443 阅读 · 1 评论 -
scrapy_AttributeError: type object 'ImagesPipeline' has no attribute 'startswith'错误及解决
问题描述:在使用scrapy进行爬虫的时候,启用前没有问题,启用管道后就出现了问题。报错如下:AttributeError: type object 'ImagesPipeline' has no attribute 'startswith'无法在python中的SCRAPY中创建对'str'对象的弱引用spider文件代码如下:# -*- coding: utf-8 ...原创 2019-01-05 09:32:14 · 2249 阅读 · 0 评论 -
python_base64_binascii.Error: Incorrect padding解决
问题描述:在使用b64decode对加密后的文件进行解密的时候报错,如下:Traceback (most recent call last): File "E:/project/allow/zt/xx01_xyz.py", line 13, in <module> result = b64decode("aHR0cCUzQSUyRiUyRnZpZGVvLnlqZj...原创 2019-01-05 11:57:45 · 37576 阅读 · 6 评论 -
scrapy_Atwisted.web.error.SchemeNotSupported: Unsupported scheme: b''错误及解决
问题描述:在middleware中使用ip代理的时候,报错如下2019-01-05 21:16:15 [scrapy.core.scraper] ERROR: Error downloading <GET http://httpbin.org/ip>Traceback (most recent call last): File "e:\anaconda3\lib\sit...原创 2019-01-05 21:26:33 · 3335 阅读 · 0 评论 -
scrapy_由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。错误及解决
问题描述:在使用scrapy的middleware使用ip代理的时候,也给代理添加了"https://"或者"http://", 但还是报错了(之前还是好好的)报错如下:2019-01-05 21:46:44 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://httpbin.org/ip> (...原创 2019-01-05 22:07:11 · 25426 阅读 · 2 评论 -
scrapy_File "src/lxml/etree.pyx", line 1589, in lxml.etree._Element.xpath (src\lxml\etree.c:61238)
问题描述:在使用scrapy框架进行数据采集的时候,是能进行数据抓取的,但是相隔一段时间后,在使用xpath后报错,如下:Traceback (most recent call last): File "e:\anaconda3\lib\site-packages\parsel\selector.py", line 238, in xpath **kwargs) File...原创 2019-01-18 08:59:33 · 6163 阅读 · 2 评论 -
lunux_rz安装_waiting to receive.**B0100000023be50
问题描述:使用sudo apt-get install lrzsz安装后,使用rz报错,如下:waiting to receive.**B0100000023be50原因分析:因为rz命令是从本地向服务器进行文件传输的,所以你的连接工具支持这种功能,所以我更换为putty进行测试 结果还是不行。根本原因仍在调查。解决:我使用的xshell,成功上传。 ...原创 2019-01-19 09:02:31 · 17186 阅读 · 4 评论 -
scrapy_TypeError: Cannot convert unicode body - HtmlResponse has no encoding
问题描述:在使用middleware进的时候,计划是在scrapy发送请求的时候对其进行拦截,然后自己使用HtmlResponse伪造一个response响应进行返回,传给scrapy调度器。但是,在使用HtmlResponse实例化对象的是时候报错,如下:Traceback (most recent call last): File "e:\anaconda3\lib\site-...原创 2019-01-14 16:15:38 · 1057 阅读 · 0 评论 -
scrapy_在linux环境下部署scrapy分布式
分布式爬虫linux部署环境步骤1. (以下为linux环境下进行)Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上,scrapy的依赖库比较多执行如下命令安装依赖库:sudo apt-get install build-essential python3-dev libxml2-dev python3-pip libxslt1-dev z...原创 2019-01-20 21:57:15 · 541 阅读 · 0 评论 -
scrapy_ [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ’XXXX‘
问题描述:在使用scrapy框架进行爬虫时,当解析完请求start_urls的响应进行二次访问的时候,出现了无法访问的情况,系统过滤 了我的请求 .# -*- coding: utf-8 -*-import scrapyclass LuboavSpider(scrapy.Spider): name = 'photo' allowed_domains = ['htt...原创 2018-12-27 00:17:15 · 998 阅读 · 0 评论 -
scrapy_AttributeError: 'generator' object has no attribute 'meta'''_'generator' 'dont_filter'
问题描述:初次使用craapy中间件的时候,重写了process_exception方法,目的是反复去调用,但是报错了,如下:2018-12-26 20:50:57 [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method RefererMiddleware.request_scheduled ...原创 2018-12-26 20:59:13 · 4489 阅读 · 2 评论 -
Python_SyntaxError: Missing parentheses in call to 'print'. Did you mean print(response .body)
描述:使用scrapy中执行命令时候出现以下错误。SyntaxError: Missing parentheses in call to 'print'. Did you mean print(response .body)解释:SytRealError:调用“打印”时缺少括号。你是指打印response .body?因为我的python版本是3.6,而在python3.6中使...原创 2018-12-07 21:50:11 · 3796 阅读 · 0 评论 -
Python_Scrapy安装问题及解决_使用pip命令安装后在pycharm仍不能导入
今天使用pip命令安装完scrapy后,怀着激动的心情开始scrapy之旅。下图为安装成功:但是当打开pycharm后导入scrapy模块的时候出现了问题,显示scrapy不存在。no module named scrapy已经安装好了,已经创建一个项目了随后我在pycharm进行安装的时候报错如下: 随后我把whl文件放到我的工作路径下重新进行安装:再...原创 2018-12-08 00:49:56 · 6219 阅读 · 1 评论 -
Python_Scrapy_执行文件不生成json文件和TypeError: write() argument must be str, not bytes错误及解决
使用刚安装好的scrapy做第一个案例遇到了一堆bug,代码如下:pipelines.pyitem.py我的爬虫文件:test_itcast.py1.实行代码的时候,scrapy crawl test_itcast,实行结果如下:(venv) E:\Scrapy\test1\test1>scrapy crawl test_itcast2018-1...原创 2018-12-08 16:56:05 · 1817 阅读 · 0 评论 -
Python爬虫urlopen编码问题及解决方案
问题描述:在爬取百度贴吧的内容时候,一次只爬取一页的时候,没有问题,但是使用for i in range 一次爬取多个页面的时候出现以下问题代码如下,红框内代码报错:字符拼接没有问题,两次输出就是相同https://tieba.baidu.com/f?kw=诗词吧&ie=utf-8&pn=200https://tieba.baidu.com/f?kw=诗...原创 2018-12-03 20:38:28 · 2447 阅读 · 0 评论 -
python_Socket_OSError: [WinError 10048]_[WinError 10038]_ [WinError 10022] 错误及解决
套接字1.OSError: [WinError 10048] 通常每个套接字地址(协议/网络地址/端口)只允许使用一次。PyCharm开发中有可能遇到的套接字重复使用错误windows下在PyCharm中执行python代码,如果源文件被修改后,执行窗口中的运行状态会被终结,重启时有可能报如下的错误:OSError: [WinError 10048] 通常每个套接字地址(协议/网络地址/端...原创 2018-12-07 00:02:07 · 4301 阅读 · 0 评论 -
Python_SMTP_smtplib.SMTPDataError: 554, smtplib.SMTPAuthenticationError: 535 错误及解决
SMTP错误: SMTP报错 smtplib.SMTPDataError: 554, smtplib.SMTPAuthenticationError: 535 廖雪峰案例BUG解决:1.报错535:是因为未将POP3/SMTP服务开启。此项通过在163邮箱内 设置 获取授权码 打开,通过授权码可以进行第三方登录。此处的Password填写授权码。2.报错554:第一种情况...原创 2018-12-07 00:14:10 · 4015 阅读 · 0 评论 -
Python_多线程错误及解决
多线程1. python "threads can only be started once"原创 2018-12-07 00:15:21 · 2861 阅读 · 0 评论 -
Python_Tkinter _tkinter.TclError: unknown option "-height"错误及整理
1.错误:python _tkinter.TclError: unknown option "-height"方案:Label标签的height由字体大小决定,想要改变Label的高度可通过调整字体的大小来改变。所有不要给label添加height属性...原创 2018-12-07 00:16:07 · 12006 阅读 · 0 评论 -
Python_Scrapy安装问题及解决
系统环境:win7,Python 3.6.4问题描述:使用系统命令cmd安装scrapy时,出现以下错误文字: error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visua...原创 2018-12-07 09:57:51 · 282 阅读 · 0 评论 -
windows下无法连接ubantu下的linux的mongo_由于计算机积极拒绝,无法连接
问题描述:在ubantu下mongoDB查询已经插入的两条数据是没有问题,但是在windows下使用Pycharm连接失败:ubantu:windows下使用pymongodb连接,代码如下:from pymongo import *client = MongoClient(host="localhost", port=27017)db = client.test001 ...原创 2018-12-14 19:26:59 · 613 阅读 · 1 评论 -
Python_TypeError: string indices must be integers
问题描述:在使用Scrapy进行爬虫时候,在Spider中的py文件中想对服务器的响应进行获取数据并进行处理,但是就出现了如下错误TypeError: string indices must be integers 原因分析:从头开始分析,也就是刚进入spider文件的时候,直接打印reponse.body,查看其值print(json.loads(response.bo...原创 2018-12-10 09:54:39 · 4093 阅读 · 0 评论 -
Python_TypeError: Object of type 'DouyuZiItem' is not JSON serializable错误及解决
问题描述:在使用Scrapy进行爬虫时候,在管道文件中想对Spider文件返回的item进行磁盘持久化,但是运行就出现了如下错误Traceback (most recent call last): File "e:\anaconda3\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks ...原创 2018-12-10 10:16:34 · 1295 阅读 · 0 评论 -
python_安装PhantomJS遇到的问题_ Message: 'phantomjs' executable needs to be in PATH. _UserWarning: Selenium
最近学习PhantomJS,已经成功下载并安装了phantomjs后在pycharm中尝试使用selenium+PhantomJS还是出了问题PhantomJS(已安装,将bin文件的路径添加到系统变量): 代码如下from selenium import webdriverbrowser = webdriver.PhantomJS()browser.get('https:/...原创 2018-12-21 10:09:06 · 3113 阅读 · 2 评论 -
python_scrapy_twisted.web.error.SchemeNotSupported: Unsupported scheme: b''_及解决
问题描述:在使用scrapy框架的middleware中间件,去尝试使用代理,执行后就会报错2018-12-26 00:39:30 [scrapy.core.scraper] ERROR: Error downloading <GET http://httpbinorg/get/>Traceback (most recent call last): File "e:\ana...原创 2018-12-26 19:49:11 · 5925 阅读 · 1 评论 -
scrapy_分布式_ERROR: Caught exception reading instance data_Unable to read instance data, giving up
问题描述:将已经写好的scrapy分布式项目部署到linux环境中后执行spider.py文件报错,如下2019-01-20 23:05:08 [boto] ERROR: Caught exception reading instance dataTraceback (most recent call last): File "/usr/lib/python2.7/dist-pac...原创 2019-01-20 23:47:54 · 532 阅读 · 0 评论