python
dmxbb
这个作者很懒,什么都没留下…
展开
-
python_requests库请求内容出现乱码
一、有时候request会出现请求的网页内容中中文部分显示为乱码1.通过添加encoding,可以改回来def download_page(url): headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"} r = requests.get(url, headers=headers) r.encoding = 'gb2312'原创 2020-11-03 22:35:54 · 1254 阅读 · 0 评论 -
python—Queue队列的基本方法
一.Queue队列的使用二、使用步骤1.使用示例代码如下(示例):from multiprocessing import Queue# 创建队列q = Queue(3) # 指定队列大小,不写默认无限# 向队列中插入元素q.put('消息1')q.put('消息2')q.put('消息3')# put方法中可选参数,block=True,timeout=1,队列已满等待1秒,如果还是没有空余空间,抛队列已满异常q.put('消息4',block=True,timeout=1)#原创 2020-11-02 15:19:56 · 422 阅读 · 0 评论 -
python爬虫创建进程池下载
一、使用multiprocessing.Pool二、使用步骤1.代码代码如下(示例):import jsonimport multiprocessingimport osimport randomfrom turtle import pdimport requests# 多个请求头User_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko)原创 2020-11-02 14:54:08 · 843 阅读 · 0 评论 -
python学习笔记
1.定义函数的注意事项# 声明函数时,参数名后跟类型,表示参数值的类型# 在函数()后‘->类型’ 表示函数返回的数据类型def download(url:str) -> str: # 变量名后跟类型: ,编程时会自动提醒对象中的属性及对象 requ: Response = requests.get(url) return requ.text # 文本 , resp.content 字节码...原创 2020-11-01 16:33:58 · 75 阅读 · 0 评论 -
Python - requests库
namedtuple> from collections import namedtuple> # 声明类 namedtuple 有命名的元组类Response = namedtuple('Response', ['headers','code','text','body','encoding'])1.requests库requests库是一个网络请求库,基于urllib和urllib3封装的便捷网络请求库1.1 安装在Pycharm的原创 2020-11-01 16:08:32 · 859 阅读 · 0 评论