近期忙里偷闲,搞了几天python爬虫,基本可以实现常规网络数据的爬取,比如糗事百科、豆瓣影评、NBA数据、股票数据、天气预报等的爬取,整体过程其实比较简单,有一些HTML+CSS+DOM树等知识就很easy,我就以天气预报数据的爬取为例,整理出来。
需求:采用python爬取“天气网”指定时间段及地区的天气预报数据,并将爬取到的数据按顺序写入到本地EXCEL文件中。
环境配置:
python3.5
win7 64位
pandas(生成时间序列用到)
urllib(获取html)
BeautifulSoup(解析html)
xlsxwriter(写入到excel)
话不多说,直接干。。。
1、用到的库
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import datetime
import pandas as pd
import xlsxwriter as xlw
from urllib import request
from bs4 import BeautifulSoup as bs
2、两种生成月份区间的方法
# 法一:datetime,先转换为datetime类型,再做加减
def dateRange(start, end): # start='2014-09'
strptime, strftime = datetime.datetime.strptime, datetime.datetime.strftime