使用Python处理将CSV转化为自定义结构化的Json数据(使用csv,json模块)
处理环境
- Python 3.7.3
- Spyder(Anaconda安装后自带)
- Excel
- HbuiderX
这里介绍的四个工具相信大家对前三个工具都不陌生,Spyder是一个Anaconda下载时带的IDE,
在数据处理方面我个人认为比Pycharm更方便好用,界面和MATLAB很像,软件也比较轻量化,代
码编辑区和交互式界面(IPython console)放在一块可以非常便捷的进行单元测试,HbuilderX
是一个针对前端的开发者工具,如果有前端的小伙伴可以尝试一下(相信做前端的小伙伴不会不知道
Hbuilder),对Vue高度支持,界面清爽,代码提示和快捷键用起来非常爽,还支持MarkDown编辑器(我不会告诉你
我这篇文章是在Hbuilder里面写的)
源数据简介与代码
数据简介
这个数据来自于ChinaVis 2019数据可视化挑战赛 挑战2发布的数据,由于这个数据不方便在此公布,只举出部分例子给大家参考
|订单ID |时间戳 |经度 |纬度 |
|0009c1ac83b0c546262622ac8270dccd |1525183801 |103.99569 |30.49285 |
|0009c1ac83b0c546262622ac8270dccd |1525183804 |103.99569 |30.49285 |
|0009c1ac83b0c546262622ac8270dccd |1525183807 |103.99566 |30.49281 |
|0009c1ac83b0c546262622ac8270dccd |1525183810 |103.99561 |30.49271 |
|001d17f42836f71b3f794cf5253b041d |1525148317 |104.08124 |30.50967 |
|001d17f42836f71b3f794cf5253b041d |1525148320 |104.08125 |30.50921 |
|001d17f42836f71b3f794cf5253b041d |1525148323 |104.08125 |30.5087 |
|001d17f42836f71b3f794cf5253b041d |1525148326 |104.08126 |30.50823 |
|001d17f42836f71b3f794cf5253b041d |1525148329 |104.08126 |30.50777 |
…
这个数据包含了所有订单的轨迹信息,包含订单的MD5码,可以作为订单ID,时间戳和经纬度代表了时间和位置信息
我们要将这份数据转换成如下Json格式
[
{
"ID": {
"timestamp": [.....
],
"points"