Python爬虫
NewRain001
这个作者很懒,什么都没留下…
展开
-
python 进度条 alive-progress
简单进度条打印from alive_progress import alive_barimport timewith alive_bar(3000) as bar: for i in range(3000): bar() time.sleep(0.01)下载任务from alive_progress import alive_barimport timeimport requestsimport osdef download(): #原创 2021-07-15 09:40:07 · 858 阅读 · 0 评论 -
python爬虫准备
自定义UserAgentfrom fake_useragent import UserAgentHEADER = { 'Referer': 'https://www.baidu.com/', 'User-Agent': UserAgent().random}result = requests.get(url, headers=HEADER)配置代理池proxyMeta = requests.get( 'http://d.jghttp.golangapi.com/geti原创 2020-11-14 16:27:47 · 163 阅读 · 0 评论 -
http请求工具详解
curl使用方法参数说明例子-A设置user-agentcurl -A “Chrome” http://www.baidu.com-X用执行方法请求curl -X POST http://httpbin.org/post-I只返回请求的头信息-d a=1 -d b=2 -d c=3-d “a=1&b=2&c=3”-d @filename-O下载文件并以远程文件名保存-o下载文件并以指定文件名保存curl -o fox.png原创 2020-09-01 16:22:04 · 245 阅读 · 0 评论