第一个Python程序——博客自动访问脚本

转载 2015年11月18日 15:02:03

第一个Python程序——博客自动访问脚本

动机

今天有朋友写信说他认为自己的wordpress博客内显示的访问统计信息不正常,希望我能为他制造一些访问信息,供他对比。朋友提出的请求是在短时间内快速打开100个不同的博客页面,以便他从产生的访问量变化中理解博客访问数据。
本人作为一个搞计算机的人,有把任何重复性劳动自动化的冲动,所以虽然点开100个网页的任务手工做并不复杂,但还是从一开始就彻底否定了。刚好想学Python很久了,于是就拿这次的小机会来学习一把,顺便记录下第一次的Python学习成果。
本文使用Python 2.7.3实现了一个自动访问博客的脚本,涉及以下技术点:
语言基础
容器(线性表、字典)
逻辑分支、循环
控制台格式化输出
HTTP客户端网络编程
处理HTTP请求
使用HTTP代理服务器
Python正则表达式
总览

自动访问博客页面这个操作实际上和网络爬虫做的事情差不多,基本流程如下:

图1 博客自动访问器工作原理
给访问器一个开始位置(例如博客首页URL)
访问器将URL指向的网页爬回(爬回网页这个操作本身相当于在浏览器中打开页面)
2中爬回的网页交给分析器分析。分析器分析后提取出其中的URL加入待访问URL列表,即URL库。然后从URL库中取出下一个要访问的页面URL
循环2、3步,直到达到某一终止条件程序退出
刚开始编程时,我们什么都没有,只有一个博客首页的URL。紧跟着这个URL需要解决的问题就是如何编程爬取URL指向的页面。爬取到了页面,才能算是访问了博客,也才能获得页面的内容,从而提取更多的URL,进行更进一步的爬取。
这样一来就带来了如何根据URL获取页面信息的问题,要解决这个问题,需要用到HTTP客户端编程,这也是接下来一节解决的问题。
urllib2:HTTP客户端编程

Python中可以实现HTTP客户端编程的库有好几个,例如httplib, urllib, urllib2等。使用urllib2是因为它功能强大,使用简单,并且可以很容易地使用HTTP代理。
使用urllib2创建一个HTTP连接并获取页面非常简单,只需要3步:
import urllib2
opener = urllib2.build_opener()
file = opener.open(url)
content = file.read()
content即为HTTP请求响应的报文体,即网页的HTML代码。如果需要设置代理,在调用build_opener()时传入一个参数即可:
opener =urllib2.build_opener(urllib2.ProxyHandler({‘http’: “localhost:8580”}))
ProxyHandler函数接受一个字典类型的参数,其中key为协议名称,value为host与端口号。也支持带验证的代理,更多细节见官方文档。
接下来要解决的问题就是从页面中分离出URL. 这就需要正则表达式。
正则表达式

正则表达式相关的函数位于Python的re模块中,使用前需import re
findall函数返回字符串中所有满足给定正则式的子串:
aelems = re.findall(‘‘, content)
findall的第一个参数是正则式,第二个参数是字符串,返回值是字符串数组,包含content中所有满足给定正则式的子串。上述代码返回所有以
结尾的子串,即所有的标签。对网页HTML代码应用此过滤可获取所有超链接。如果需要进一步提高过滤的精确度,例如只需要链接指向本博客(假设当前博客是http://myblog.wordpress.com),且URL为绝对地址,则可以使用更精确的正则式,例如’‘.
获取到了
标签,就需要进一步提取其中的URL,这里推荐match函数。match函数的作用是将满足指定正则式的子串的其中一部分返回。例如对于以下字符串(假设存于aelem元素中):
RSS Feed
如果需要提取出其中的URL(即http://myblog.wordpress.com/rss),则可以如下的match调用:
matches = re.match(‘

0号元素为’

这里的正则式对应改变

matches = re.match(‘href=”(.*)”’, aelem)
当然,这种方法不能保证100%正确。最好的做法应该还是用HTML Parser. 这里懒得搞了。
提取出URL之后,就要将URL加入URL库。为了避免重复访问,需要对URL去重复,这就引出了下一节中字典的使用。
字典

字典,一种存储key-value对的关联容器,对应C++里的stl::hash_map,Java里的java.util.HashMap以及C#中的Dictionary. 由于key具有唯一性,因此字典可以用来去重。当然,也可以用set,很多set就是将map简单包装一下,例如java.util.HashSet和stl::hash_set.
要使用字典构建一个URL库,首先我们需要考虑一下URL库需要做什么:
URL去重:URL从HTML代码中抽取出来后,如果是已经加入URL库的URL,则不加入URL库
取新URL:从URL库中取一个还没访问过的URL进行下一次爬取
为了同时做到1、2,有以下两种直观的做法:
用一个url字典,其中URL作为key,是否已访问(True/False)作为value;
用两个字典,其中一个用来去重,另一个用来存放还没访问过的URL.
这里简单起见,用的是第2种方法:

起始URL

starturl = ‘http://myblog.wordpress.com/‘;

全部URL,用于URL去重

totalurl[starturl] = True

未访问URL,用于维护未访问URL列表

unusedurl[starturl] = True

中间省略若干代码

取下一个未用的URL

nexturl = unusedurl.keys()[0];

将该URL从unusedurl中删除

del unusedurl[nexturl]

获取页面内容

content = get_file_content(nexturl)

抽取页面中的URL

urllist = extract_url(content)

对于抽取出的每个URL

for url in urllist:

如果该URL不存在于totalurl中

ifnot totalurl.has_key(url):

那么它一定是不重复的,将其加入totalurl中

    totalurl[url] = True

并且加入为访问列表中

    unusedurl[url] = True

结束

最后贴上完整的代码:

import urllib2
import time
import re

totalurl = {}
unusedurl = {}

生成ProxyHandler对象

def get_proxy():
return urllib2.ProxyHandler({‘http’: “localhost:8580”})

生成指向代理的url_opener

def get_proxy_http_opener(proxy):
return urllib2.build_opener(proxy)

获取指定URL指向的网页,调用了前两个函数

def get_file_content(url):
opener = get_proxy_http_opener(get_proxy())
content = opener.open(url).read()
opener.close()

为方便正则匹配,将其中的换行符消掉

return content.replace(‘\r’, ”).replace(‘\n’, ”)

根据网页HTML代码抽取网页标题

def extract_title(content):
titleelem = re.findall(‘.*<\/title>’, content)[0]
return re.match(‘(.*)<\/title>’, titleelem).group(1).strip()

根据网页HTML代码抽取所有标签中的URL

def extract_url(content):
urllist = []
aelems = re.findall(‘’, content)
for aelem in aelems:
splits = aelem.split(”)
if len(splits) != 1:
aelem = splits[1]

    matches = re.match('href="(.*)"', aelem)

if matches isnot None:
url = matches.group(1)
if re.match(‘http:\/\/myblog.wordpress.com.*’, url) isnot None:
urllist.append(url)
return urllist

获取字符串格式的时间

def get_localtime():
return time.strftime(“%H:%M:%S”, time.localtime())

主函数

def begin_access():

starturl = 'http://myblog.wordpress.com/';
totalurl[starturl] = True
unusedurl[starturl] = True

print’seq\ttime\ttitle\turl’

i = 0

while i < 150:

    nexturl = unusedurl.keys()[0];

del unusedurl[nexturl]
content = get_file_content(nexturl)

    title = extract_title(content)
    urllist = extract_url(content)

for url in urllist:
ifnot totalurl.has_key(url):
totalurl[url] = True
unusedurl[url] = True

print’%d\t%s\t%s\t%s’ %(i, get_localtime(), title, nexturl)

    i = i + 1
    time.sleep(2)

调用主函数

begin_access()

Python-定时打开一个网页

import webbrowser import timeprint("start" + time.ctime()) count = 0; while (count < 3): time.sl...
  • ko_tin
  • ko_tin
  • 2017年05月18日 13:39
  • 611

Python自动化脚本【1】url提取及自动打开页面

一个python自动化脚本,读取csv中的url并保存每一个输入值为type,输出纪录有type的csv...
  • u013023297
  • u013023297
  • 2017年04月29日 09:17
  • 533

第一个Python程序——博客自动访问脚本

第一个Python程序——博客自动访问脚本动机今天有朋友写信说他认为自己的wordpress博客内显示的访问统计信息不正常,希望我能为他制造一些访问信息,供他对比。朋友提出的请求是在短时间内快速打开1...
  • liuyuzhu111
  • liuyuzhu111
  • 2015年11月18日 15:02
  • 629

用python脚本24小时刷浏览器的访问量

# -*- coding=utf-8 -*- import urllib2 import socket import time urls = raw_input("Please enter a w...
  • u011447828
  • u011447828
  • 2016年12月13日 09:44
  • 884

python基础之编写第一个python脚本

交互解释器虽然是python强项之一,但是我们往往需要编写自己和其他人都能运行的程序。接下来,我们将会介绍这一点。(这里只在linux下编写)   首先,我们需要一个创建一个属于自己管理python代...
  • ynuCyan
  • ynuCyan
  • 2016年01月14日 10:31
  • 601

Python_博客自动访问脚本

本文使用Python 2.7.3实现了一个自动访问博客的脚本,涉及以下技术点: 语言基础 容器(线性表、字典) 逻辑分支、循环 控制台格式化输出 HTTP客户端网络编程 处理HT...
  • jiguanghoverli
  • jiguanghoverli
  • 2012年08月19日 17:58
  • 594

python脚本检查网页能否打开

批量判断网站能否访问,可以使用urllib的getcode()方法#!/usr/bin/env python3 # -*- coding: utf-8 -*-from urllib.request i...
  • justheretobe
  • justheretobe
  • 2016年01月24日 14:16
  • 3253

python 一个简单的刷csnd访问量的脚本

# -*- coding:utf-8 -*- import requests import time import random from bs4 import BeautifulSoup head...
  • qq1124794084
  • qq1124794084
  • 2016年11月29日 20:18
  • 832

第一个 Python 程序

安装完 Python 后,Windows 中:开始菜单或安装目录下就会有 IDLE(开发 Python 程序的基本 IDE - 集成开发环境)、帮助手册、模块文档等。Linux 中:只需要在命令行中输...
  • u011012932
  • u011012932
  • 2016年06月15日 16:16
  • 4600

Python脚本实现自动发带图的微博

找了不少用python发表微博的,这篇写的似乎不错。供参考。 要自动发微博最简单的办法无非是调用新浪微博的API(因为只是简单的发微博,就没必要用它的SDK了)。参考开发文档http://o...
  • qq_26948675
  • qq_26948675
  • 2017年01月31日 20:12
  • 649
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:第一个Python程序——博客自动访问脚本
举报原因:
原因补充:

(最多只允许输入30个字)