爬虫
普通且自信66
这个作者很懒,什么都没留下…
展开
-
爬虫设置定时任务增加网站活跃量
为爬虫程序设置定时启动,选取指定的hour,分钟通过随机获取,上代码,逻辑简单清晰:from selenium import webdriverfrom datetime import datetime, timedeltaimport timeimport sysimport randomimport os#设置定时def main(h, m): while True: now = datetime.now() #获取当前时间 print (原创 2022-04-08 17:01:09 · 896 阅读 · 0 评论 -
爬虫模拟鼠标点击动态下载PDF文件
爬虫模拟鼠标点击动态下载PDF文件原创 2022-04-06 16:44:38 · 1006 阅读 · 0 评论 -
fake_useragent包添加代理,解决爬虫时遇到Remote end closed connection without response 问题
原代码(主要部分):#下载一个网页url = "https://zhidao.baidu.com/" # 模拟浏览器发送HTTP请求response = requests.get(url)导入fake_useragent包,后修改为:from fake_useragent import UserAgent#下载一个网页url = "https://zhida...原创 2020-01-06 15:17:37 · 504 阅读 · 0 评论