【Python】Python简单网络爬虫-爬取近几年的天气数据

Python简单网络爬虫

引用的包

import urllib2
import random
import csv
import datetime
from bs4 import BeautifulSoup

• urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件，他以urlopen函数的形式提供了一个非常简单的接口
• csv：通用的一种文件格式， 将数据写入到csv文件中
• BeautifulSoup：用来代替正则式取源码中相应标签中的内容

主程序

#-*-coding:utf-8-*-

import urllib2
import random
import csv
import datetime
from bs4 import BeautifulSoup

my_headers = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)        Chrome/48.0.2564.116 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)   Chrome/45.0.2454.101 Safari/537.36"
        ]

def get_content(url, headers):
    '''
    随机选择my_headers中一个模拟浏览器访问
    '''
    random_header = random.choice(headers)
    request = urllib2.Request(url)
    request.add_header("User-Agent", random_header)
    request.add_header("Host", "lishi.tianqi.com")
    request.add_header("Referer", "http://lishi.tianqi.com/")
    request.add_header("GET", url)

    html = urllib2.urlopen(request)
    content = html.read().decode("gbk").encode("utf-8")
    html.close()
    return content

def get_link(html_text):
    '''
    获取所有的链接
    http://lishi.tianqi.com/beijing/201603.html
    http://lishi.tianqi.com/beijing/201602.html
    '''
    link_list = []
    bs = BeautifulSoup(html_text, "html.parser")
    div = bs.find_all('div', {'id': 'tool_site'})
    link = div[4].find_all('a')
    for x in link:
        link_list.append(x.get("href"))
        print x.get("href"), x.string
    return link_list

def get_data(html_text):
    '''
    得到每天的数据
    bs.find('div', {'class': 'tqtongji2'})
    '''
    result = []
    bs = BeautifulSoup(html_text, "html.parser")

    content = bs.find('div', {'class': 'tqtongji2'})
    ul = content.find_all("ul")
    for x in ul:
        if x != ul[0]:
            temp = []
            data = x.find_all("li")
            date = data[0].string
            high = data[1].string
            low = data[2].string
            weather = data[3].string
            wind_direction = data[4].string
            '''
            输出到.txt文件中时发现出现格式错误，
            原因是wind_direction为空，
            '''
            if wind_direction is None:
                wind_direction = "Null"
            wind_force = data[5].string

            temp.append(date)
            temp.append(high)
            temp.append(low)
            temp.append(weather)
            temp.append(wind_direction)
            temp.append(wind_force)
            result.append(temp)
    return result

def write_data(data, name):
    '''
    写入到csv文件中
    如果想输出到指定位置
    url = 'C:\\Users\\Administrator\\Desktop\\'
    with open(url + name, "ab") as f:
        写入到桌面
    '''
    with open(name, "ab") as f:
        f_csv = csv.writer(f)
        f_csv.writerows(data)


def write_data_text(data, name):
    '''
    写入到txt文件中
    '''
    for x in data:
        for i in x:
            if i is None:
                i = "Null"
            fw = open(name, "a")
            fw.write(i + "\t")
        fw.write("\n")
    fw.close()


url = "http://lishi.tianqi.com/beijing/index.html"

'''
程序运行的开始时间
'''
start_time = datetime.datetime.now()
print start_time

'''
得到html内容
'''
content = get_content(url, my_headers)

'''
得到每年月份的链接
'''
link = get_link(content)

'''
循环每年月日的链接得到数据，并写入到文件中
'''
for x in link:
    html_text = get_content(x, my_headers)
    data = get_data(html_text)
    file_name = "weather.csv"   #保存的文件名
    write_data(data, file_name)

'''
程序的结束时间
'''
endtime = datetime.datetime.now()
print endtime

'''
程序的总运行时间(秒)
'''
print (endtime - start_time).seconds

csv文件中的格式

txt文件中的格式

---

Python中的文件打开模式的含义

模式mode	含义	说明
r	只读不可写	如果未指定mode，默认为此模式打开文件
w	只写	如果用’w’,会把原先已存在的内容擦除
a	附加，追加	写数据时，会自动添加到已存文件的末尾

Windows平台：

支持在mode后面添加’b’，表示以 二进制 模式打开文件；
所以对应的mode就有
　　rb
　　wb
　　r+b
Python在Windows中，是区分 二进制 和 文本 文件的。
　　　　当对文件进行数据读写时，行尾（end-of-line）符，会自动发生轻微的变化此种变化，对于文本文件，是没问题的，但是对于 二进制 文件，则很明显，会改变（破坏）原有的数据，即，是有问题的。所以，当你在用Python操作Windows下面的文件的时候，要自己很清楚自己操作的是什么类型的文件，即，是 文本text 还是 二进制binary 文件

Unix平台：

　　Linux平台对于b’，是不影响的换句话说：如果你是用Python操作 二进制文件，则可以通过 加上’b’，得以实现，平台相关的效果，即 既适用于Windows平台，也适用于Unix类的平台。