Python实现爬虫统计学校BBS男女比例(一)前期准备、方案分析

原创 2015年11月19日 21:18:48

前言

自己实现的Python 爬虫,目的是统计学校论坛上男女用户各占多少。
转载请注明出处,文章地址如下

项目需求

前言:BBS上每个id对应一个用户,他们注册时候会填写性别(男、女、保密三选一)。

经过检查,BBS注册用户的id对应1-300000,大概是30万的用户

笔者想用Python统计BBS上有多少注册用户,以及这些用户的性别分布

顺带可以统计最近活动用户是多少,其中男、女、保密各占多少

活动用户的限定为“上次活动时间”为 2015年

最终结果

性别信息保存在文本里,一行表示一个用户的信息,各列分别表示
【行数,id(涂掉了),性别,最后活跃时间】

统计结果1

统计结果2

统计结果3

实现思路

用户性别信息在哪个页面?

观察一下,http://rs.xidian.edu.cn/home.php?mod=space&uid=256730

得到下面个人主页

个人主页

把后面的uid=256730数字改成其他数字,就可以得到其他人的主页。


另外,如果上面的链接无法得到性别,可以再通过这个链接,也是修改uid可以访问其他人主页。

http://rs.xidian.edu.cn/home.php?mod=space&uid=256730&do=profile

个人主页


数据如何存储?

用数据库还是其他方案?

为了阅读方便,我们考虑用文本文件存储。

30万的用户存储在一个文本里会导致文本过大。如果程序被意外终止,30 万的用户数据需要重新爬取。

我们我们考虑一个文本里存放1000条记录,理论上可以用30个文本来存放30万条数据。

文本名称为correct1-1001.txt correct47001-48001.txt,注意:1-1001是[1,1001),包含1,不包含1001


使用正则匹配找出性别

查看网页源代码

<!-- 找出性别这一栏-->
<li><em>性别</em></li>

还可以找到活动时间-->
<li><em>上次发表时间</em>2015-11-4 20:04</li>

<!-- 有些id不存在相应的用户,会有这样的提示-->
<p>抱歉,您指定的用户空间不存在</p>

个人主页

我们可以利用re模块来进行正则匹配

sexRe = re.compile(u'em>\u6027\u522b</em>(.*?)</li')
timeRe = re.compile(u'em>\u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4</em>(.*?)</li')
notexistRe = re.compile(u'(p>)\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728<')

因为中文的原因,需要Unicode 转换 中文工具,可以用站长工具 Unicode 转换 ASCII,ASCII 转换 Unicode,比如下面这个链接:
http://tool.chinaz.com/Tools/Unicode.aspx

性别的Unicode 是 \u6027\u522b
上次活动时间 \u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4
抱歉,您指定的用户空间不存在
\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728

这儿是简单获取性别的源代码,通过urllib2对链接myurl发送一个get请求,将得到的html保存下来。注意编码问题unicode(html, 'utf-8'),然后对html正则匹配seWord。

如果该用户有性别信息,返回对应的性别;否则,返回None

#对myurl页面进行seWord匹配查找
#seWord是用unicode表示
def getInfo(myurl, seWord):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
    }
    req = urllib2.Request(
        url=myurl,
        headers=headers
    )
    time.sleep(0.3)
    response = urllib2.urlopen(req)
    html = response.read()
    html = unicode(html, 'utf-8') #需要进行编码,否则找不到信息
    timeMatch = seWord.search(html) #因为seWord是用unicode表示
    if timeMatch:
        s = timeMatch.groups()
        return s[0]
    else:
        return None

错误处理

  1. 断网情况(热修复方案)

    总共爬虫需要几天时间,用的校园网,中间可能有断网的可能。
    如果发现断网,我们可以重新连上互联网,这中间有些用户的性别没有获取到。
    程序运行时间较长,断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。
    为了不让程序重头开始跑,所以我们是记录下断网中漏掉的用户id。
    等一次程序跑完了(这需要几天的时间),我们再跑记录下来的id重新跑一次。

  2. 无法获取性别

    这种有两种情况:
    一是真的没有性别(用户没有填写)
    二是服务器抽了,咱们请求网页失败了。
    这种咱们也是和上面类似,记录下失败的id,后面再重新跑。

知识点小结

对于这种错误,SyntaxError: Non-ASCII character '\xe5' in file

需要在文件开头加上# -*- coding: UTF-8 -*-

因为 python 的默认编码文件是用的 ANSCII 码


<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
BBS网页源代码使用utf-8进行编码的。

本项目设计到中文字符,自然会遇到编码问题。

import sys
print sys.getdefaultencoding()

输出 ascii
从上面的代码可以看出 sys.defaultencodingANSCIIANSCII是无法对中文字符进行编码的。UTF-8是Unicode的实现方式之一,可以对中文字符进行编码。遇到中文字符,我们需要加上这行代码

reload(sys)
# sys.setdefaultencoding('utf-8')

更改 sys.defaultencoding 为'utf-8'


后期整理的时候发现了自己一个小问题,因为正则表达式当时用unicode来表示的,所以需要把html进行unicode转换进行查找。
后来发现可以直接用汉字对原来的html进行查找。

# -*- coding: UTF-8 -*-
    html = response.read()
    sexRe = re.compile('em>性别</em>(.*?)</li')

    timeMatch = sexRe.search(html)
    if timeMatch:
        s = timeMatch.groups()
        print "字符串 "+s[0]


    html = unicode(html, 'utf-8')
    sexRe = re.compile(u'em>\u6027\u522b</em>(.*?)</li')
    timeMatch = sexRe.search(html)
    if timeMatch:
        s = timeMatch.groups()
        print "unicode " +s[0]

输出

字符串 女
unicode
    html = response.read()
    print len(html)
    html = unicode(html, 'utf-8') #
    print len(html)

输出

    html = response.read()
    print len(html)
    html = unicode(html, 'utf-8') #
    print len(html)

输出

35423
33658
版权声明:转载请注明出处 博客地址 http://blog.csdn.net/never_cxb

Python实现爬虫统计学校BBS男女比例(一)前期准备、方案分析

前言自己实现的Python 爬虫,目的是统计学校论坛上男女用户各占多少。 转载请注明出处,文章地址如下 python实现爬虫统计学校BBS男女比例(一)前期准备、方案分析 http://blog....
  • never_cxb
  • never_cxb
  • 2015年11月19日 21:18
  • 1851

用Python计算MovieLens 100k数据集中男性女性用户评分的标准差

这是《用Python玩转数据》4.2的编程练习。要求:计算MovieLens 100k数据集中男性女性用户评分的标准差并输出。 数据集下载其中u.data 表示100k条评分记录,每一列的数值含义...
  • chenghit
  • chenghit
  • 2015年12月18日 17:10
  • 2461

模式识别学习——遗传算法

1、主要工作 采用遗传算法对男女生样本数据中的身高,体重,喜欢数学,喜欢文学,喜欢运动,喜欢模式识别共6个特征进行特征选择,并基于所得到的最佳特征采用SVM设计男女生分类器,并计算模型预测性能(包含S...
  • wulafly
  • wulafly
  • 2016年11月19日 00:47
  • 2144

python实现爬虫统计学校BBS男女比例(一)前期准备、方案分析

分类: 项目实战(36) python(10)  版权声明:转载请注明出处。 目录(?)[+] 项目需求 前言:BBS上每个id对应一个用户,他们注册时候会填写性别(男、女...
  • lively1982
  • lively1982
  • 2015年12月31日 10:43
  • 307

python实现爬虫统计学校BBS男女比例(三)数据处理

数据分析得到了以下列字符串开头的文本数据,我们需要进行处理 名称 特性 correct 此id的性别、活动时间都存在 errTime 此id的性别有,活动时间无 (改成noTim...
  • never_cxb
  • never_cxb
  • 2015年11月23日 12:24
  • 1101

python实现爬虫统计学校BBS男女比例(二)多线程爬虫

数据分类正确数据:id、性别、活动时间三者都有放在这个文件里file1 = 'ruisi\\correct%s-%s.txt' % (startNum, endNum)数据格式为293001 男 20...
  • never_cxb
  • never_cxb
  • 2015年11月20日 22:19
  • 1261

python实现爬虫统计学校BBS男女比例(二)多线程爬虫

数据分类 正确数据:id、性别、活动时间三者都有 放在这个文件里file1 = 'ruisi\\correct%s-%s.txt' % (startNum, endNum) 数据格式...
  • lively1982
  • lively1982
  • 2015年12月31日 10:46
  • 409

Android RatingBar结合属性动画,快速实现 QQ群男女比例分布图效果

RatingBar介绍RatingBar作为评分组件,它在实现打分功能的时候确实很方便,并结合了手势触摸事件;RatingBar 的实质是 ProgressBar ,可以看看他的继承关系  ja...
  • jxxfzgy
  • jxxfzgy
  • 2015年03月07日 13:05
  • 2594

noj 2112 拯救活动室的男女比例(最大费用最大流)

拯救活动室的男女比例 时间限制(普通/Java) : 2000 MS/ 6000 MS          运行内存限制 : 81920 KByte 总提交 : 116            测试通...
  • acm_cxq
  • acm_cxq
  • 2016年08月21日 15:49
  • 214

用代码验证阿里巴巴的一道关于男女比例的面试题

今天在CSDN首页看了一篇博客《阿里巴巴的面试》。 其中有一个问题,比较有意思: 说澳大利亚的父母喜欢女孩,如果生出来的第一个女孩,就不再生了,如果是男孩就继续生,直到生到第一个女孩为止,问若干年...
  • fxqcn
  • fxqcn
  • 2011年11月02日 14:10
  • 638
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python实现爬虫统计学校BBS男女比例(一)前期准备、方案分析
举报原因:
原因补充:

(最多只允许输入30个字)