python
python 编程遇到的问题总结
死磕呀
学习成长之旅,技术交流 q:2528368896
展开
-
python读取拆分txt文件并重新写入txt
一、#! usr/bin/python-- coding:utf-8 --import osfilepath=input(‘输入路径: ‘)i=0j=0with open(filepath,‘r’) as f: #打开txt文件for line in f.readlines(): #将txt文件逐行读取 i=i...转载 2020-04-16 11:22:18 · 1251 阅读 · 0 评论 -
python 使用execjs执行接js解密时报错execjs UnicodeDecodeError: ‘gbk‘ codec can‘t decode...
python 使用execjs执行接js解密时报错execjs UnicodeDecodeError: 'gbk' codec can't decode...转载 2022-06-15 18:23:57 · 598 阅读 · 0 评论 -
基于pyqt5的可视化BMI指数计算系统
基于pyqt5的可视化BMI指数计算系统原创 2022-01-30 11:12:04 · 427 阅读 · 0 评论 -
解决json.decoder.JSONDecodeError: Invalid control character at: line 1 column 4007 (char 4006)问题
原始代码json_load = json.loads(data)错误如图修改原始代码json_load = json.loads(data, strict=False)成功运行!!!!!!原创 2022-01-25 09:59:53 · 1243 阅读 · 0 评论 -
scrapy 发送payload方式的post请求
scrapy 发送一般的post请求采用formdata 进行请求,当发送payload方式的post请求时,使用formdata 请求就无法达到我们需要的效果。发现 FromRequest并不支持传request payload解决办法:使用Request,添加body,并注明请求方法为post即可必须要注意的点:1、请求头一定要加上‘Content-Type’: 'application/json’2、body 用json.dumps()转一下代码实现如下:yield scrapy.Requ原创 2021-01-08 17:32:44 · 843 阅读 · 0 评论 -
记录scrapy爬虫犯的部分数据重复错误
scrapy 爬虫在爬取列表页时,发现有部分数据是重复的,找啊找啊发现,在写for 循环时将item放到了for循环外面,代码如下: def parse_list(self, response): item = DataItem() if response.status != 200: print(response.status) else: datas = json.loads(response.tex原创 2021-01-07 15:59:58 · 912 阅读 · 0 评论 -
python 实现 列表嵌套字典去重、排序
def delrepeat(data,key): # data 列表 key 去重的键 new_data = [] # 用于存储去重后的list values = [] # 用于存储当前已有的值 for d in data: if d[key] not in values: new_data.append(d) values.append(d[key]) print(new_data)if __name__ == '__main__': li原创 2020-11-19 11:28:36 · 675 阅读 · 0 评论 -
http状态码 30X 获取响应头里的 location
import requestsurl = 'http://xhslink.com/oSVbN'headers = { 'User-Agent': 'Mozilla/5.0'}response = requests.get(url=url, headers=headers, allow_redirects=False) 注:allow_redirects=False 禁止重定向allow_redirects 默认为true, requets库自动处理了重定向请求print(respo原创 2020-10-26 16:35:36 · 1499 阅读 · 0 评论 -
requests发送post请求的一些疑点
前言在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法。一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送POST请求,有很多朋友不是很清楚,主要是因为容易混淆POST提交的方式。今天在微信交流群里,就有朋友遇到了这种问题,特地讲解一下。在HTTP协议中,post提交的数据必须放在消息主体中,但是协议中并没有规定必须使用什么编码方式,从而导致了提交方式的不同。服务端根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码,再转载 2020-09-29 10:11:53 · 609 阅读 · 0 评论 -
python使用遍历在列表(list)中添加字典(dict)
错误示例:nid = "1,2"print(nid.split(','))mydict = {}datas = []for i in nid.split(','): mydict["id"] = str(i) mydict["checked"] = True datas.append(mydict)print(str(datas))运行结果:['1', '2'][{'id': '2', 'checked': True}, {'id': '2', 'checked'转载 2020-05-27 11:23:12 · 5181 阅读 · 0 评论 -
如何采集有签名机制的App或网站的数据
签名机制是现在App和网站反采集常见的手段,我们先来看一下什么是签名机制。我们以永辉生活微信小程序为例(我们曾做过一个采集永辉超市超级物种所有店铺商品的项目),当我们抓包分析时会发现其所有的HTTPS请求中都有一个sign参数(如下图所示)。如果我们尝试修改其它参数,构造一个自己的请求,会发现无法得到有效的数据(如下图所示)。APP服务端是如何知道我们篡改了这个请求呢?实际上这个sign参数是一个校验值,它是根据HTTP请求中其它参数计算出来的,算法是App开发者自己定义的。App服务端接收到H转载 2020-05-08 19:39:29 · 1129 阅读 · 1 评论 -
linux 下 使用 yum安装python3
一、yum 源准备1、先更新一下yum:sudo yum -y update该 -y 标志用于提醒系统我们知道我们正在进行更改,免去终端提示我们要确认再继续2、安装yum-utils 【一组扩展和补充yum的实用程序和插件】sudo yum -y install yum-utils3、安装CentOS开发工具 【用于允许您从源代码构建和编译软件】sudo yum -y groupin...原创 2020-05-08 10:18:27 · 10106 阅读 · 1 评论