文档内容:
1:下载《hadoop权威指南》中的气象数据
2:对下载的气象数据归档整理并读取数据
3:对气象数据进行map reduce进行处理
关键词:《Hadoop权威指南》气象数据 map reduce python matplotlib可视化
一:下载《hadoop权威指南》一书中的气象数据
新建 getdata.py文件, 并加入如下代码:
1 #http://my.oschina.net/chyileon/blog/134915
2 importurllib3 importurllib24 from bs4 importBeautifulSoup5 importre6 importos7 importshutil8
9 defgetdata():10 year = 1901
11 endYear = 1921
12 urlHead = 'http://ftp3.ncdc.noaa.gov/pub/data/noaa/'
13
14 while year