python爬虫
豆奶咖啡
这个作者很懒,什么都没留下…
展开
-
多进程和多线程
多进程和多线程多线程import timefrom datetime import datetimefrom threading import Thread# 进程默认有一个线程,这个线程叫主线程;其他的线程都叫子线程# Python中的threading模块中Thread类的对象就是线程对象(程序中需要多少个线程就创建多少个Thread类或者它的子类的对象)def download(name): print(f'{name}开始下载!{datetime.now()}')原创 2020-11-07 11:13:33 · 251 阅读 · 0 评论 -
数据爬取和处理
数据爬取requests的使用爬取数据的基本步骤获取想要数据的网页地址导入requests模块使用requests.get得到获取response = requests.get(url, headers=)直接获取不到先尝试找到网页的数据接口,直接通过接口获取数据找不到接口,尝试加入User-Agent和cookie属性进headers再不行就放弃requests使用selenium属性功能response.status_cude检测原创 2020-11-07 11:13:00 · 695 阅读 · 0 评论