python爬虫
豆奶咖啡
这个作者很懒,什么都没留下…
展开
-
多进程和多线程
多进程和多线程 多线程 import time from datetime import datetime from threading import Thread # 进程默认有一个线程,这个线程叫主线程;其他的线程都叫子线程 # Python中的threading模块中Thread类的对象就是线程对象(程序中需要多少个线程就创建多少个Thread类或者它的子类的对象) def download(name): print(f'{name}开始下载!{datetime.now()}')原创 2020-11-07 11:13:33 · 242 阅读 · 0 评论 -
数据爬取和处理
数据爬取 requests的使用 爬取数据的基本步骤 获取想要数据的网页地址 导入requests模块 使用requests.get得到获取 response = requests.get(url, headers=) 直接获取不到先尝试找到网页的数据接口,直接通过接口获取数据 找不到接口,尝试加入User-Agent和cookie属性进headers 再不行就放弃requests使用selenium 属性 功能 response.status_cude 检测原创 2020-11-07 11:13:00 · 683 阅读 · 0 评论