Python3 定时访问网页

最新推荐文章于 2024-07-27 10:15:00 发布
最新推荐文章于 2024-07-27 10:15:00 发布
阅读量7.2k 收藏 5
点赞数 4
分类专栏： Python 文章标签： python 定时访问网页 urllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yhl_leo/article/details/50358695
版权


本系列文章由 @YhL_Leo 出品，转载请注明出处。
文章链接： http://blog.csdn.net/yhl_leo/article/details/50358695

如果我有一组网站，想要定时刷新访问，可以通过python3 的urllib和time模块，但是普通的使用 urllib.request.urlopen在有些网站是会受到网站异常访问屏蔽策略的限制，出现这样的提示： urllib.error.HTTPError: HTTP Error 403: Forbidden。要突破这样的限制，必须伪装成为真正的用户（真正用户大量搜索也会出现）访问，就能降低这样情况发生的概率。关键就在于构造headers报头消息的请求，而核心就在于设置user-agent使之看起来像是真正用户的请求消息（python 3.4的默认UA是Python-urllib/3.4，很容易看出不是真正的用户请求）。

给出一段示例代码：

import urllib.request, time, random

def webBrowser(url, header, tm):
    req = urllib.request.Request(url, headers = header)
    try:
        webPage = urllib.request.urlopen(req)
        data = webPage.read()
        time.sleep(tm)
        #information of web page
        print(type(webPage))
        print(webPage.geturl())
        #print(webPage.info())
        #print(webPage.getcode())
    except urllib.error.URLError as err:
        print(err)
    except urllib.error.HTTPError as err:
        print(err)
    except http.client.HTTPException as err:
        print(err)

def rand_url():
    #web list
    url_list = ['http://blog.csdn.net/yhl_leo/article/details/50283927',
        'http://blog.csdn.net/yhl_leo/article/details/50351172',
        'http://blog.csdn.net/yhl_leo/article/details/50283303',
        'http://blog.csdn.net/yhl_leo/article/details/50255623',
        'http://blog.csdn.net/yhl_leo/article/details/50327113',
        'http://blog.csdn.net/yhl_leo/article/details/50311869',
        'http://blog.csdn.net/yhl_leo/article/details/50300447',
        'http://blog.csdn.net/yhl_leo/article/details/50255069',
        'http://blog.csdn.net/yhl_leo/article/details/50255623',
        'http://blog.csdn.net/yhl_leo/article/details/50179779',
        'http://blog.csdn.net/yhl_leo/article/details/50112477',
        'http://blog.csdn.net/yhl_leo/article/details/50099843',
        'http://blog.csdn.net/yhl_leo/article/details/50054953',
        'http://blog.csdn.net/yhl_leo/article/details/49848391',
        'http://blog.csdn.net/yhl_leo/article/details/49788741',
        'http://blog.csdn.net/yhl_leo/article/details/49737357',
        'http://blog.csdn.net/yhl_leo/article/details/49592361',
        'http://blog.csdn.net/yhl_leo/article/details/49591995',
        'http://blog.csdn.net/yhl_leo/article/details/49591019',
        'http://blog.csdn.net/yhl_leo/article/details/49427383',
        'http://blog.csdn.net/yhl_leo/article/details/48879093',
        'http://blog.csdn.net/yhl_leo/article/details/48862187'];
    return url_list[random.randint(0, len(url_list)-1)] 

def rand_headers():
    #user_agent list
    user_agent_list = ['Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11',
        'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
        'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
        'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
        'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
        'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
        'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
        'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
        'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
        'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
        'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
        'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
        'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
        'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
        'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1',
        'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
        'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
    header = {'user-agent':user_agent_list[random.randint(0, len(user_agent_list)-1)]}
    return header


tm = 1;   #wait time(sec) for per web
idx = 0;  #loop count
tm_per_h = 10; #wait time(sec) for every 150 loops
while True:
    url = rand_url()
    header = rand_headers()
    webBrowser(url, header, tm)
    idx = idx+1
    if (idx+1)%150 == 0:
        time.sleep(tm_per_h)

这里在rand_url()和rand_headers()函数通过随机的方法，分别从给出的博客链接url_list和user_agent_list里选出一对访问的链接和UA，同时在访问函数里加上时间间隔，整个程序就可以不停地访问网页列表中的网站~

当然这段代码测试的都是CSDN的博客链接，结果显示没有问题（说明CSDN的异常访问屏蔽策略的限制还是很宽松），所以如果想提高博客浏览量是很轻松的，那么你还能从浏览量里看出什么吗？

yhl_leo
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python实现自动定时打开关闭网页刷新网页
天天开心鸭！
01-16 1406
前言 想弄个CSDN自动签到，但是看了好多文章，貌似官方给反爬处理了，不过我还是“贼”心不死的试了试 废话不多说，开始操作 环境 Windows8.1 IDEA 2019.3.3 Python36 selenium 3.141.0 （安装步骤教程：点击查看） 代码 if __name__ == '__main__': print('CSDN自动签到') #coding=utf-8 from selenium import webdriver import time user="Adam
jenkins配置python脚本定时任务过程图解
01-02
这篇文章主要介绍了jekins配置python脚本定时任务过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1.首先安装jekins环境，访问网页...
python定时访问网址
01-11
python定时访问网址
Python中的定时方法
最新发布
Richardlygo的博客
07-27 253
如果你是在Windows环境下，Python作为服务运行，可以利用任务计划器。首先，将你的Python脚本打包成.exe文件，然后在任务计划器中设置定时任务。这个库的强大之处在于可以处理复杂的调度需求。模块就像一个日程表，让你的Python程序按计划运行。如果你的任务是多线程的，可以利用。最基础的方法就是利用。
python怎么访问网站_python如何访问网页
weixin_39570838的博客
11-21 473
使用Python访问网页主要有三种方式： urllib, urllib2, httpliburllib比较简单，功能相对也比较弱，httplib简单强大，但好像不支持session更多urllib知识，可以参考这些文章：最简单的页面访问import urllib2res=urllib2.urlopen(url)except urllib2.URLError, e:print res.read()加...
用python访问网页
Seraph
09-03 4863
python 3 核心代码 import urllib.request url="https://www.baidu.com" req=urllib.request.Request(url) resp=urllib.request.urlopen(req) result=resp.read().decode('utf-8') print(result) 结果 <html> &lt...
使用python访问网页
热门推荐
win9
03-28 3万+
python版本：3 访问页面: import urllib.request url="https://blog.csdn.net/qq_33160790" req=urllib.request.Request(url) resp=urllib.request.urlopen(req) data=resp.read().decode('utf-8') print(data) ...
网站定时访问器(间歇性访问网站)
06-14
3. **自动化测试**：在软件开发中，定时访问器可以帮助测试团队持续测试网站的性能和功能。 4. **邮件通知**：如果网站出现异常，定时访问器可以触发邮件通知，及时告知相关人员。 5. **社交媒体管理**：定时发布...
Python3自动签到 定时任务 判断节假日的实例
09-19
本文将详细介绍如何使用Python3实现自动签到功能，并配合定时任务以及节假日判断机制。通过本文的示例，读者可以学习到如何编写自动签到脚本、创建定时任务以及调用节假日判断接口，从而实现更加智能和人性化的签到...
python 自动登录京东并定时抢购商品
08-12
在本项目中，"python 自动登录京东并...通过这个项目，你可以深入学习Python编程、网页自动化以及如何实现定时任务。同时，也要注意在实践中遵守相关的使用规则，尊重网站的使用条款，确保合法、合规使用自动化工具。
python打开网页
04-29
#coding:utf-8 import time import webbrowser as web import os import random #随机选择一个浏览器打开网页 def open_url_use_random_browser(): #定义要访问的地址 url='http://www.baidu.com' #定义浏览器路径 browser_paths=[r'C:\Program Files (x86)\Mozilla Firefox\firefox.exe', #r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe', #r'C:\Program Files (x86)\Opera\launcher.exe', #r'C:\Users\Administrator\AppData\Roaming\qianying\qianying.exe', #r'C:\Users\Administrator\AppData\Local\115Chrome\Application\115chrome.exe', #r'C:\Program Files (x86)\Internet Explorer\iexplore.exe', #r'D:\Program Files(x86)\SouExplorer\SogouExplorer\SogouExplorer.exe' ] #选择一个浏览器 def chose_a_browser_open_url(browser_path,url): #如果传入的浏览器位置不存在，使用默认的浏览器打开 if not browser_path: print ('using default browser to open') web.open_new_tab(url)#使用默认浏览器，就不再结束进程 else: #判断浏览器路径是否存在 if not os.path.exists(browser_path): print ('current browser path not exists,using default browser') #浏览器位置不存在就使用默认的浏览器打开 browser_path='' chose_a_browser_open_url(chose_a_browser_open_url,url) else: browser_task_name=browser_path.split('\\')[-1]#结束任务的名字 browser_name=browser_task_name.split('.')[0]#自定义的浏览器代号 print (browser_name) web.register(browser_name, None,web.BackgroundBrowser(browser_path)) web.get(browser_name).open_new_tab(url)#使用新注册的浏览器打开网页 print ('using %s browser open url successful' % browser_name) time.sleep(5)#等待打开浏览器 # kill_cmd='taskkill /f /IM '+browser_task_name#拼接结束浏览器进程的命令 # os.system(kill_cmd) #终结浏览器 browser_path=random.choice(browser_paths)#随机从浏览器中选择一个路径 chose_a_browser_open_url(browser_path,url) if __name__ == '__main__': print (''''' ***************************************** ** Welcome to python of browser ** ** Created on 2019-04-28 ** ** @author: Louise_ZOU ** ***************************************** ''') open_url_use_random_browser()
定时打开ie指定的网页
07-30
朋友有一个需求，要求定时打开一个网页，就简单做了一个，那个有需要自己下
Python代码实现访问网页
weixin_35756373的博客
01-02 1880
我可以为您给出 Python 中如何使用网络库访问网页的代码示例。首先，您需要安装 Python 的网络库，比如 requests。然后，您可以使用如下代码访问一个网页： import requests response = requests.get('https://www.example.com') # 打印网页的状态码 print(response.status_code) # 打印网...
[python相关]python 访问网页
zyflying的专栏
02-24 536
from：http://fsldn.blog.163.com/blog/static/45464320108284238755/   简单的抓取网页: import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
使用python访问网页（一）
qq_44929535的博客
11-26 4989
使用python访问网页（一） 使用webbrowser打开浏览器： import webbrowser as web import time import os urllist=[ 'https://blog.csdn.net/qq_44929535/article/details/109995242', 'https://blog.csdn.net/qq_44929535/article/details/109967975', 'https://blo
python访问web网页_python网络编程（六）---web客户端访问
weixin_39585463的博客
12-05 581
1.获取web页面urllib2 支持任何协议的工作---不仅仅是http，还包括FTP,Gopher。1 importurllib22 req=urllib2.Request('http://www.baidu.com') #第一件事，建立urllib2.Request对象，注意http别掉了3 fd =urllib2.urlopen(req)4 while 1:5 data =fd....
定时访问网站的方法
记录
05-15 2402
做网站经常会遇到需要定时执行的任务，比如http://www.abc.com/test.php 可以这样做，先创建一个文本文件 DIM IE SET IE = CreateObject("InternetExplorer.Application") IE.NAVIGATE("http://www.abc.com/test.php") ie.visible=0 SET IE = NOTHIN
Linux定时请求网页
t1174148618的博客
10-05 1154
#!/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH #进入到网站根目录，请按实际填写 cd /www/wwwroot/80rc/ #从sitemap.xml中取出所有页面地址, 每隔0.5秒请求一次，触发缓存。 for url in $(awk -F"&...
Python+Selenium定时爬取丁香园疫情数据，用PyEcharts绘制地图
本文主要介绍了如何使用Python和Selenium库定时爬取丁香园网站上的新型冠状病毒数据，并利用PyEcharts将数据制作成地图，最后部署到云服务器。文章起因于作者对疫情的关注，希望通过技术手段自动化获取并展示疫情...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值