前言
主要内容：
爬取某城市天气信息，将一整年里每月份的各种天气出现次数以可视化形式展现出来
跟着b站教学视频做的
主要是提供自己初步学习爬虫的过程，为他人做个参考
准备：
用的vscode写的，没有特殊要求，如何安装库也有详细方法介绍
代码过程很详细，应该都能看懂，不需要大量知识储备。但是每个函数对应的详细讲解还是要靠自己了解，本文没有展开细讲
正文
这是文章的第一部分，讲了数据爬取和数据处理部分，并且以CSV形式进行了存储，接下来将数据进行可视化展示
第二部分：数据可视化
新建立了一个文件 data_show.py
1.导入要用的包
需要先导入pandas和pyecharts包，具体导入过程可以参考这篇文章在vscode环境里导入python库
#需要先导入pandas和pyecharts包
import pandas as pd #pandas主要用于数据分析
#可视化
from pyecharts import options as opts #导入配置项
from pyecharts.charts import Pie,Bar,Timeline #导入图形项
2.读取CSV数据
读取CSV数据存入df
视频里面用的是’gb18030’解码方式，但是我解码出来是乱码，后来试了一下’utf-8’解出来就可以了，这两种哪种可以就用哪种
还有一种解码是’gbk’,因为’gb18030’包含’gbk’，所以使用’gb18030’更好
#读取数据
#df=pd.read_csv('weather.csv',encoding='gb18030') # 可以使用'gb18030'或者‘utf-8’，哪个能跑出来结果就用哪个，其中gb18030范围比gbk大点
df=pd.read_csv('weather.csv',encoding='utf-8')
#测试
#print(df['日期'])
这是CSV文件最终呈现效果
（我在vscode里面装了一个Rainbow CSV插件，让CSV里面每列数据颜色不一样，方便查看）
3.处理数据
3.1. 日期数据
将string字符串类型的日期数据转换成datetime日期格式的数据
用了匿名函数lambda，比较简单，自行学习
df['日期']=df['日期'].apply(lambda x:pd.to_datetime(x))
3.2. 月份数据
因为要根据每个月的数据进行整合，所以用groupby() 函数分组，把数据存入df_agg
df['month']=df['日期'].dt.month #取出月份这个数据，方便后面进行统计
df_agg=df.groupby(['month','天气']).size()
但是这样的分组后索引是不连续的，不能得到每个天气的对应索引，只能得到每个月份的索引
于是需要用reset_index()进行重新排序，得到连续的索引，代码如下
df['month']=df['日期'].dt.month #取出月份这个数据，方便后面进行统计
#print(df['month'])
#返回一个聚合对象，可以对结果进行分组和统计
#df_agg=df.groupby(['month','天气']).size()
#因为groupby后索引是不连续的，需要用reset_index()进行重新排序，得到连续的索引
df_agg=df.groupby(['month','天气']).size().reset_index()
#print(df_agg)
得到的结果：
3.3. 设置列名
设置df_agg列名为’month’,‘weather’,‘count’，这个时候再打印出来的结果就有了变化
#设置df_agg列名
df_agg.columns=['month','weather','count']
print(df_agg)
3.4. 取出可视化要用的数据
要取出每个月份的’weather’,'count’两种数据，根据’count’的值进行排列，并且将最后得到的数据转变成列表
现在进行测试，以一月份为例
#ascending=False代表从大到小排列，若为true则代表从小到大排列
#末尾的斜杠代表换一行
data=df_agg[df_agg['month']==1][['weather','count']]\
.sort_values(by='count',ascending=False).values.tolist()
print(data)
#得到的数据
""" [['阴', 16], ['多云', 4], ['小雨', 4], ['阵雨', 2], ['局部多云', 1], ['零散阵雨', 1], ['雾', 1]] """
好，现在仿照这个代码来得到每个月的数据
data=(df_agg[df_agg['month']==month][['weather','count']]
.sort_values(by='count',ascending=True)
.values.tolist()
) #注意！是小括号！
3.5. 将数据可视化
3.5.1 设置时间间隔
""" 画图 """
#时间序列
timeline=Timeline()
#播放设置：设置时间间隔：1s=1000ms
timeline.add_schema(play_interval=1000) #设置时间间隔是以毫秒ms为单位
3.5.2 画图
for month in df_agg['month'].unique():
data=(df_agg[df_agg['month']==month][['weather','count']]
.sort_values(by='count',ascending=True)
.values.tolist()
) #注意！是小括号！
#绘制柱状图
bar=Bar()
# x轴数据：天气名称
bar.add_xaxis([x[0] for x in data]) #列表推导式
# y轴数据：出现次数
#第一个参数为图例，此处不需要但又不能为空，所以用空格代替
bar.add_yaxis('',[x[1] for x in data])
#让柱状图横着放
bar.reversal_axis()
#将出现的次数放在柱状图右边
bar.set_series_opts(label_opts=opts.LabelOpts(position='right'))
#设置下图表的名称
bar.set_global_opts(title_opts=opts.TitleOpts(title='重庆2020年每月天气变化'))
#将设置好的bar对象设置到时间轮播图当中，并且标签选择月份 格式：'月份'+'月'：12月..
timeline.add(bar,f'{month}月')
3.5.3 保存为html文件
#将设置好的图表保存为html文件
timeline.render('weather.html')
在vscode里面下载一个open in browser插件，再右键点击html文件，选择在默认浏览器还是其他浏览器打开，就可以运行了
效果是一个
完整代码
最后，以下是所有代码
#需要先导入pandas和pyecharts包
import pandas as pd #pandas主要用于数据分析
#可视化
from pyecharts import options as opts #导入配置项
from pyecharts.charts import Pie,Bar,Timeline #导入图形项
#读取数据
#df=pd.read_csv('weather.csv',encoding='gb18030') # 可以使用'gb18030'或者‘utf-8’，哪个能跑出来结果就用哪个，其中gb18030范围比gbk大点
df=pd.read_csv('weather.csv',encoding='utf-8')
#print(df['日期']) #测试
#将字符串类型的日期数据转换成日期格式的数据
#使用匿名函数lambda
df['日期']=df['日期'].apply(lambda x:pd.to_datetime(x))
#测试数据类型变成了datetime
#print(df['日期'])
df['month']=df['日期'].dt.month #取出月份这个数据，方便后面进行统计
#print(df['month'])
#返回一个聚合对象，可以对结果进行分组和统计
# df_agg=df.groupby(['month','天气']).size()
#因为groupby后索引是不连续的，需要用reset_index()进行重新排序，得到连续的索引
df_agg=df.groupby(['month','天气']).size().reset_index()
# print(df_agg)
#设置df_agg列名
df_agg.columns=['month','weather','count']
# print(df_agg)
#取出可视化要用的数据
#末尾的斜杠代表换一行
#取出每个月份的'weather','count'两种数据，根据'count'的值进行排列
#ascending=False代表从大到小排列，若为true则代表从小到大排列
#将最后得到的数据转变成列表
# 测试，以一月份为例
# data=df_agg[df_agg['month']==1][['weather','count']]\
# .sort_values(by='count',ascending=False).values.tolist()
# print(data)
""" [['阴', 16], ['多云', 4], ['小雨', 4], ['阵雨', 2], ['局部多云', 1], ['零散阵雨', 1], ['雾', 1]] """
""" 画图 """
#时间序列
timeline=Timeline()
#播放设置：设置时间间隔：1s=1000ms
timeline.add_schema(play_interval=1000) #设置时间间隔是以毫秒ms为单位
for month in df_agg['month'].unique():
data=(df_agg[df_agg['month']==month][['weather','count']]
.sort_values(by='count',ascending=True)
.values.tolist()
) #注意！是小括号！
#绘制柱状图
bar=Bar()
# x轴数据：天气名称
bar.add_xaxis([x[0] for x in data]) #列表推导式
# y轴数据：出现次数
#第一个参数为图例，此处不需要但又不能为空，所以用空格代替
bar.add_yaxis('',[x[1] for x in data])
#让柱状图横着放
bar.reversal_axis()
#将出现的次数放在柱状图右边
bar.set_series_opts(label_opts=opts.LabelOpts(position='right'))
#设置下图表的名称
bar.set_global_opts(title_opts=opts.TitleOpts(title='重庆2020年每月天气变化'))
#将设置好的bar对象设置到时间轮播图当中，并且标签选择月份 格式：'月份'+'月'：12月..
timeline.add(bar,f'{month}月')
#将设置好的图表保存为html文件
timeline.render('weather.html')
遇到的问题
1.报错urllib.error.URLError:urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败
可能原因：断网了，或者导入库时出错 from urllib.request import urlopen
2.一些解码问题，各种解码形式我也没太明白，反正我把我遇到的都记录下来了，一种不行就换另一种就好
3.刚接触xpath，不太熟悉，之前推荐过的b站链接学习xpath我觉得对于简单了解够用了，差不多十分钟就看懂了
其他的问题记不太清楚了，想起来再完善吧
2688
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
