简单的Python爬虫抓数据

说实话，大概两个月之前就打算整理一下近期掌握的知识、技能——C++的socket，sql server结合Dreamweaver以及godaddy的个人建站，stm32结合液晶显示，Multisim等的仿真……
一想起这么多东西就觉得头大，这次先把最近一两天写的一个简单的Python爬虫记录一下

承一位朋友之邀，要求统计一下伦敦、里约两届奥运会微博来源情况，是从网页上发微博的多还是用移动客户端的多呢？

对此，我考虑用Python通过正则表达式来实现。

首先在新浪微博上搜索伦敦奥运会，发现每条消息下面总会有

右键查看元素（顺便说一下，不管是写网页或者是爬虫哪怕是黑客等等跟网页有关的东西，都推荐装一下firfox随时查看代码什么的，非常方便）如下：
<a target="_blank" href="http://app.weibo.com/t/feed/6vtZb0" rel="nofollow">微博 weibo.com</a>

因此决定将pattern写为patternw = r'weibo.com'

通过
h = urllib.request.urlopen(url)
return h.read()
可以实现将页面内容读取为字符串。这样查找整个网页的字符串一一比对，即可找到有多少微博是发自“weibo.com”的。

具体实现代码如下：

#coding=utf-8
#从新浪微博中抓取数据判断新浪客户端的使用情况
#只简单示意，找出了发自网页、iPhone和vivo的数量
#copyright@穆沛

#<a target="_blank" href="http://app.weibo.com/t/feed/6vtZb0" rel="nofollow">微博 weibo.com</a>
#<a target="_blank" href="http://weibo.com/" rel="nofollow">晴小编iPhone 6s Plus</a>

import urllib.request
import re

 #将网页转为字符串
def downloadPage(url):
    h = urllib.request.urlopen(url)
    return h.read()

def getData(content):
    content = content.decode('utf-8')
    i = 0
    w = 0
    e = 0
    #来自微博网页的数量
    patternw = r'weibo.com'
    web = re.compile(patternw)
    wurls = re.findall(web, content)
    for url in wurls:
            w += 1
    print("w = %d"%w)

    #来自iPhone的数量
    patterni = r'iPhone'
    iph = re.compile(patterni)
    iurls = re.findall(iph, content)
    for url in iurls:
            i += 1
    print("i = %d"%i)

    #来自vivo的数量
    patterne = r'vivo'
    oth = re.compile(patterne)
    eurls = re.findall(oth, content)
    for url in eurls:
            e += 1
    print("e = %d"%e)


content = downloadPage("http://s.weibo.com/weibo/%E4%BC%A6%E6%95%A6%E5%A5%A5%E8%BF%90%E4%BC%9A")
getData(content)

写的有点简单粗暴，我相信有更好的写法，欢迎与我交流。