python
文章平均质量分 69
Urila
这个作者很懒,什么都没留下…
展开
-
python_错误i整理
问题描述:在使用django进行开发的时候犯了一个低级错误,mark以下报错,报错如下:ValueError at /blog/Need 2 values to unpack in for loop; got 1. Request Method: GETRequest URL: http://127.0.0.1:8000/blog/Django Version: 2.2.6Ex...原创 2020-02-23 01:57:21 · 624 阅读 · 0 评论 -
django_python_生成验证时报错TypeError: string argument expected, got 'bytes'
问题描述:在django的views.py视图中定义视图函数生成二维码并返回给网页,生成验证码过程中发生错误,如下:TypeError: string argument expected, got 'bytes'Traceback (most recent call last): File "G:\anaconda\lib\site-packages\django\core\h...原创 2020-01-01 14:52:45 · 1077 阅读 · 0 评论 -
scrapy_AttributeError: 'generator' object has no attribute 'meta'''_'generator' 'dont_filter'
问题描述:初次使用craapy中间件的时候,重写了process_exception方法,目的是反复去调用,但是报错了,如下:2018-12-26 20:50:57 [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method RefererMiddleware.request_scheduled ...原创 2018-12-26 20:59:13 · 4499 阅读 · 2 评论 -
Python_Scrapy_执行文件不生成json文件和TypeError: write() argument must be str, not bytes错误及解决
使用刚安装好的scrapy做第一个案例遇到了一堆bug,代码如下:pipelines.pyitem.py我的爬虫文件:test_itcast.py1.实行代码的时候,scrapy crawl test_itcast,实行结果如下:(venv) E:\Scrapy\test1\test1>scrapy crawl test_itcast2018-1...原创 2018-12-08 16:56:05 · 1819 阅读 · 0 评论 -
Python_TypeError: string indices must be integers
问题描述:在使用Scrapy进行爬虫时候,在Spider中的py文件中想对服务器的响应进行获取数据并进行处理,但是就出现了如下错误TypeError: string indices must be integers 原因分析:从头开始分析,也就是刚进入spider文件的时候,直接打印reponse.body,查看其值print(json.loads(response.bo...原创 2018-12-10 09:54:39 · 4099 阅读 · 0 评论 -
Python_Scrapy安装问题及解决
系统环境:win7,Python 3.6.4问题描述:使用系统命令cmd安装scrapy时,出现以下错误文字: error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visua...原创 2018-12-07 09:57:51 · 286 阅读 · 0 评论 -
Python_Tkinter _tkinter.TclError: unknown option "-height"错误及整理
1.错误:python _tkinter.TclError: unknown option "-height"方案:Label标签的height由字体大小决定,想要改变Label的高度可通过调整字体的大小来改变。所有不要给label添加height属性...原创 2018-12-07 00:16:07 · 12049 阅读 · 0 评论 -
Python_多线程错误及解决
多线程1. python "threads can only be started once"原创 2018-12-07 00:15:21 · 2873 阅读 · 0 评论 -
Python_Scrapy安装问题及解决_使用pip命令安装后在pycharm仍不能导入
今天使用pip命令安装完scrapy后,怀着激动的心情开始scrapy之旅。下图为安装成功:但是当打开pycharm后导入scrapy模块的时候出现了问题,显示scrapy不存在。no module named scrapy已经安装好了,已经创建一个项目了随后我在pycharm进行安装的时候报错如下: 随后我把whl文件放到我的工作路径下重新进行安装:再...原创 2018-12-08 00:49:56 · 6236 阅读 · 1 评论 -
Python_SyntaxError: Missing parentheses in call to 'print'. Did you mean print(response .body)
描述:使用scrapy中执行命令时候出现以下错误。SyntaxError: Missing parentheses in call to 'print'. Did you mean print(response .body)解释:SytRealError:调用“打印”时缺少括号。你是指打印response .body?因为我的python版本是3.6,而在python3.6中使...原创 2018-12-07 21:50:11 · 3797 阅读 · 0 评论 -
py文件输出html内容显示编码问题及解决方案
问题描述: 在py文件中输出和html内容,但是显示编码错误代码如下#主页面和tr进行拼接html ="""<!DOCTYPE html><html lang="en"><head> <title>index</title></head><body&原创 2018-12-01 16:03:11 · 1089 阅读 · 0 评论 -
Pythonzipfiler
## 简介:zip文件格式是通用的文档压缩标准,在ziplib模块中,使用ZipFile类来操作zip文件,下面具体介绍一下:zipfile.ZipFile(file[, mode[, compression[, allowZip64]]]) - 引入模块:import zipfile - 功能:创建一个ZipFile对象,表示一个zip文件。 - 参数 -参数file表...原创 2018-11-28 23:48:11 · 87 阅读 · 0 评论 -
Python多线程
多线程 1.主线程:创建一个进程的时候,会创造一个线程,这个线程就被成为主线程一个进程里只有一个主线程注意:python中的多线程不是真正意义上的多线程。(高速的在多个线程中进行切换,制造出多线程的假象)2.全局锁(GIL): 在任意的指定时间里,有且只有一个线程在运行(保证python线程安全)3. Join:等待上面的所有线程结束之后在继续往下执行线程安全的歧义:...原创 2018-12-01 11:15:21 · 148 阅读 · 0 评论 -
Python_TypeError: Object of type 'DouyuZiItem' is not JSON serializable错误及解决
问题描述:在使用Scrapy进行爬虫时候,在管道文件中想对Spider文件返回的item进行磁盘持久化,但是运行就出现了如下错误Traceback (most recent call last): File "e:\anaconda3\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks ...原创 2018-12-10 10:16:34 · 1298 阅读 · 0 评论 -
python_scrapy_twisted.web.error.SchemeNotSupported: Unsupported scheme: b''_及解决
问题描述:在使用scrapy框架的middleware中间件,去尝试使用代理,执行后就会报错2018-12-26 00:39:30 [scrapy.core.scraper] ERROR: Error downloading <GET http://httpbinorg/get/>Traceback (most recent call last): File "e:\ana...原创 2018-12-26 19:49:11 · 5930 阅读 · 1 评论 -
aiohttp_TypeError: 'StreamReader' object is not callable
最近在学习aiohttp,犯了个很低级的错误,特此记录下。错误描述: 我使用aiohttp的session去访问我自己的csdn首页(https://blog.csdn.net/jss19940414)的时候,因为响应可用text(),json(),read()进行获取,但是这些都是直接放在缓存中,如果信息过大的时,缓存爆炸,所以我使用流(content)来进行获取。代码如下:...原创 2019-08-26 16:47:14 · 1483 阅读 · 2 评论 -
python_写入csv文件时候无法进行原样写入(写入字符串中出现逗号","时候,csv文件自动分成两个单元格)
问题描述:写入csv文件时候无法进行原样写入(写入字符串中出现逗号","时候,csv文件自动分成两个单元格)with open("test.csv","w") as f: f.write("闲暇时,我会被一段,配乐诗朗诵,所感动,悲伤")print("写入成功")原因分析:在写入csv文件的时候英文逗号在csv中被默认为单元格的分隔。前两个逗号是中文的逗号,后...原创 2019-03-25 20:36:36 · 12637 阅读 · 3 评论 -
python_django_禁止访问 _CSRF验证失败. 请求被中断_更多信息请设置选项DEBUG=True。
问题描述:访问一个url时,回有一个注册页面的响应,输入对应的信息后,单击注册按钮进行提交进行页面跳转,显示禁止访问 _CSRF验证失败. 请求被中断_更多信息请设置选项DEBUG=True。解决方案:将settings.py文件的MIDDLEWARE中的csrf设置注掉后,再次运行,问题解决。、备注:这样虽然能进行访问,但是不安全, 允许跨站进行请求,详情请阅读h...原创 2019-03-07 11:33:58 · 13623 阅读 · 9 评论 -
python_django_views文件中return render("XXXX/XXX.html") 显示 Template file not found
问题描述:在使用django框架进行web开发的时候,views文件中return到模板文件中的某个html文件,但是显示的是template file not found 。而我在settings中的TEMPLATES的DIRS已经加入了template 路径。代码如下:settings.pyINSTALLED_APPS = [ 'django.contrib.admi...原创 2019-03-07 01:05:20 · 7267 阅读 · 8 评论 -
python_fake_useragent_随机请求头模块
fake_useragent_随机请求头模块当我们在对目标url进行数据采集的时候,难免会遇到反爬,比如说一定时间内你的ip访问量过多的时候,你在请求url,就给你一个反馈,告诉你你的请求次数太频繁,请稍后再试,无法正常的进行数据采集,那么我们可以伪造请求头和ip来对目标url进行访问,这里先介绍请求头。1.安装方法一:在cmd命令行中进行安装,pip install fake_use...原创 2019-01-08 21:22:32 · 1656 阅读 · 0 评论 -
python_装饰器_补充
转自:https://blog.csdn.net/chb4715/article/details/79076097在写python类的时候,虽然可以通过“实例名.变量名”的方式对实例中的变量进行读取和赋值。但出于规范性等等原因,我们最好还是写getter和setter,使用property() 函数和@property修饰符。第一种方法,使用property() 函数:class P...转载 2019-01-08 19:24:19 · 132 阅读 · 0 评论 -
appium_真机测试_No route found. Setting content type to 'text/plain'
问题描述:在使用appium进行真机测试的时候,在配置好需要的参数后点击Start Session就出现了问题 报错如下:[MJSONWP] Calling AppiumDriver.createSession() with args: [{"appActivity":".ui.LauncherUI","appPackage":"com.tencent.mm","deviceNa...原创 2019-01-10 21:45:04 · 13395 阅读 · 3 评论 -
appium_self.driver = webdriver.Remote(DRIVER_SERVER, self.desired_cap)_没有反应
问题描述:在使用appium真机模拟微信登录的时候,使用appium是没有问题,但是在使用pycarhm连接appium的时候在执行如下语句的时候出现问题webdriver.Remote(DRIVER_SERVER, self.desired_cap)在执行这条语句的时候,显示一直在执行,就不会在执行下面的语句了。仿佛进入了死循环。 def __init__(self):...原创 2019-01-10 21:18:29 · 5193 阅读 · 4 评论 -
python_base64_binascii.Error: Incorrect padding解决
问题描述:在使用b64decode对加密后的文件进行解密的时候报错,如下:Traceback (most recent call last): File "E:/project/allow/zt/xx01_xyz.py", line 13, in <module> result = b64decode("aHR0cCUzQSUyRiUyRnZpZGVvLnlqZj...原创 2019-01-05 11:57:45 · 37680 阅读 · 6 评论 -
为何大量网站不能抓取?爬虫突破封禁的6种常见方法
为何大量网站不能抓取?爬虫突破封禁的6种常见方法在互联网上进行自动数据采集(抓取)这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”,有时会把网络数据采集程序称为网络机器人(bots)。最常用的方法是写一个自动化程序向网络服务器请求数据(通常是用 HTML 表单或其他网页文件),然后对数据进行解析,提取需要的信息。本文假定读者已经了解如何用代码来抓取一个远程的 ...转载 2018-12-16 16:46:52 · 2939 阅读 · 0 评论 -
Python_安装selenium,导入FileNotFoundError: [WinError 2] 系统找不到指定的文件in start os.path.basename(self.path)
成功安装selenium后,导入失败,报错如下Traceback (most recent call last): File "E:\project\venv\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start stdin=PIPE) File "E:\Anaconda3\lib\...原创 2018-12-10 16:51:27 · 880 阅读 · 0 评论 -
scrapy_ [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to ’XXXX‘
问题描述:在使用scrapy框架进行爬虫时,当解析完请求start_urls的响应进行二次访问的时候,出现了无法访问的情况,系统过滤 了我的请求 .# -*- coding: utf-8 -*-import scrapyclass LuboavSpider(scrapy.Spider): name = 'photo' allowed_domains = ['htt...原创 2018-12-27 00:17:15 · 1000 阅读 · 0 评论 -
PythonSMTP
SMTPSMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。Python创建 SMTP 对象语法如下:import smtplibsmtpObj = smtplib.SM...原创 2018-12-01 11:06:10 · 977 阅读 · 0 评论 -
Python函数式编程
函数式编程 函数式编程的三大特性: immutable data 不可变数据:像Clojure一样,默认上变量是不可变的,如果你要改变变量,你需要把变量copy出去修改。这样一来,可以让你的程序少很多Bug。因为,程序中的状态不好维护,在并发的时候更不好维护。(你可以试想一下如果你的程序有个复杂的状态,当以后别人改你代码的时候,是很容易出bug的,在并行中这样的问题就更多了) fi...原创 2018-12-01 00:13:52 · 128 阅读 · 0 评论 -
Python_Socket(套接字)
相关含义:TCP是面向连接的通信,所以在通信之前,客户端与服务器端必须通过三次握手建立连接,然后在通信完毕,还要通过四次挥手断开连接。三次握手建立连接:server端调用socket(),bind(),listen()创建监听套接字并完成初始化,然后调用accept()阻塞式等待客户连接。客户端创建一个套接字初始化后,调用connect连接server,连接过程:调用connect()发出...原创 2018-11-30 23:55:14 · 268 阅读 · 0 评论 -
Python类多重继承
单继承和多继承:单继承:每个类只能继承一个类的方式称为单继承。多继承:每个类可以同时继承多个类的方式称为多继承。多继承格式:class 父类1: passclass 父类2: passclass 子类(父类1,父类2): pass注意:当子类继承类多个类的时候,当多个父类的成员方法名不相同时候,则子类都可以进行访问调用,如果多个父类的成员方法的方法...原创 2018-11-29 23:12:09 · 324 阅读 · 0 评论 -
Python类继承
继承继承就是可以获取另外一个类中的成员属性和成员方法。(并非所有成员)作用:继承的作用是增加代码的复用性,节省不必要的重复代码,提高开发效率,同时可以设置类之间的关系。继承操作的关键步骤 pass 继承的特征1.所有类都是继承自object类(object类对应的对象就是object对象,也是万物皆对象)2.子类继承父类则可以访问父类的所有成员。(私有成员除外)3.子类继承父类并...原创 2018-11-29 22:57:01 · 537 阅读 · 0 评论 -
Python类
类面向对象,面向过程的区别:面向过程开发,以函数作为基本结构使用面向对象的开发,以对象作为基本结构使用语言中对象结构的特色:高内聚,低耦合。面向对象相关的单词:OO 面向对象OOP 面向对象的程序开发OOA 面向对象的分析OOD 面向对象的设计OOI 面向对象的实现OOA -> OOD -> OOI 面向对象的实现过程类的定义类是一个实物的特征的集合...原创 2018-11-29 22:41:43 · 88 阅读 · 0 评论 -
PythonTime模块
导入time模块import time;通常有这几种方式来表示时间:1)时间戳 2)格式化的时间字符串 3)元组(struct_time)共九个元素。UTC(Coordinated Universal Time,世界协调时)亦即格林威治天文时间,世界标准时间。在中国为UTC+8。DST(Daylight Saving Time)即夏令时。 时间戳(timestamp)的...原创 2018-11-29 00:30:54 · 1221 阅读 · 0 评论 -
PythonShutil模块
导入模块:import shutilcopy()功能:复制文件格式:shutil.copy('来源文件','目标地址')返回值:复制之后的路径拷贝文件和权限copy2()功能:复制文件,保留元数据格式:shutil.copy2('来源文件','目标地址')返回值:复制之后的路径拷贝文件和状态信息copyfileobj()将一个文件的内容拷贝的另外一个文...原创 2018-11-29 00:07:49 · 362 阅读 · 0 评论 -
Python文件_1
读取的时候换行 +1,汉字和字符各占一个。计算光标位置时,光标换行 +2 (汉字占两个光标,换行也是两个光标)001.txt文件(如下)································································132三星星fa今天是星期三今天是星期11今天是星期11123·························...原创 2018-11-23 01:18:12 · 112 阅读 · 0 评论 -
Python文件
读文件语法:def open(file, mode=‘r’, buffering=None, encoding=None, errors=None, newline=None, closefd=True)参数file注意事项文件路径是一个字符串(包括你要读取的文件名和文件后缀名)路径中”/”或者 “\”表示下级。(”\”中第一个”\”是转义符)路径可以是绝对路径和相对路径(如果路径里...原创 2018-11-23 01:12:52 · 187 阅读 · 0 评论 -
Python字符串
创建使用单引号或双引号或三引号string1 = new String(“abc”)注意:三引号允许一个字符串跨多行,字符串中可以包含换行符、制表符以及其他特殊字符。转义字符\ 反斜杠符号’ 单引号" 双引号\a 响铃\b 退格(Backspace)\e 转义\000 空\n 换行\v 纵向制表符\t 横向制表符\r 回车\f 换页\oyy 八进制数,yy代表...原创 2018-11-23 00:46:37 · 208 阅读 · 0 评论 -
Python集合
特征无序集合中的元素没有任何顺序(集合中的元素没有先后之分,(1,2,3)和(2,3,1)是一样的)唯一集合中的值不会重复(唯一)不可变集合中可以使用整数,浮点数,布尔值,复数,字符串,元组,冰冻集合创建集合创建空集合变量 = set()EG1实行结果:{‘o’, ‘l’, ‘h’, ‘e’}{‘o’, ‘l’, ‘h’, ‘e’}EG2创建一个含有一个元素的...原创 2018-11-22 23:48:18 · 379 阅读 · 0 评论 -
Python字典
字典{用大括号}存储方式: 采用键值对的形式进行保存特性1.key-value结构2.key必须为不可变数据类型、必须唯一,不可位列表3.可存放任意多值、可修改、可以不唯一4.无序5.查找速度快定义a = {}a = dict()打印字典中某个数值的时候,使用dict[x]。使用的是中括号,x代表的是键的名字.两个重要的点:不允许同一个键出现两次。创建时如果...原创 2018-11-22 00:51:36 · 175 阅读 · 0 评论