爬虫
本栏主要是涉及python爬虫的相关内容。
上海大学 吴昊
计算机专业博士研究生,华为云计算专家,CSDN博客专家,CSDN人工智能领域优质创作者,现主要研究Python数据分析、机器学习、NLP相关领域内容。
展开
-
批量及协同爬虫百度百科数据
目录一、批量爬虫百度百科数据(存为文本格式)二、批量爬虫百度百科数据(存为Excel格式)三、协程爬虫百度百科数据一、批量爬虫百度百科数据(存为文本格式)from gevent import monkeymonkey.patch_all()import gevent,requests, bs4, openpyxlfrom gevent.queue import Queueimport time# work = Queue()url_新一代信息技术 = 'https:/原创 2021-08-15 10:12:54 · 558 阅读 · 0 评论 -
爬虫采用Agent池应对反爬(亲测好用)
一、采用fake_useragentfrom fake_useragent import UserAgentheaders = { 'User-Agent': UserAgent().random}二、采用agents 池user_agents = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET .原创 2021-08-11 21:55:36 · 237 阅读 · 0 评论