目录
- 数据如何处理?
- 数据如何可视化?
上次课程的第二期,结合上次爬取过的数据进行数据可视化
主要包含:
- 如何制作动图?
- 如何利用上次的爬虫自己来爬数据?
- 如何清理数据?
数据处理
装requests包
pip install requests
爬虫资料 start.txt end.txt result.txt 爬虫.py 放在一个文件夹下,文件名称不更改
cmd 运行 爬虫.py
D:\BaiduNetdiskDownload\第一期_课程资料\数据及爬虫>python 爬虫.py
finished!
得到爬完的result.txt文件
数据清洗
核心问题:在excel里读取txt文件
数据-问外部文本文件导入
注意:用逗号间隔,加入第一列id,以及每一行的title。得到3个文件start.xlsx end.xlsx result.xlsx
利用BDP个人版进行数据可视化
老师主要是使用了BDP个人版,要点就是
- 图层依次添加start end result,依次选择气泡图、气泡图、轨迹图。前两个图层用#range字段描述尺寸,用#id字段区别颜色
- 再拖动添加一个 result_1图层,选择动态轨迹图,轨迹主体字段为路径编号
呈现的效果如下图
由于tableau要求多个数据源至少有一列是相关联的,所以暂时不用tabluea画了