毕设开发日记

项目开发日记
3月2日：将所需要的数据通过东方财经网进行爬虫，爬取GDP与各行业增加值在10年内个季度的数据并存入4个txt文档(GDP AGDP EVA AVE )当中。期间温故了爬虫的技能，又新学习到了很多技能方面的知识。
3月3日:想要爬取的数据在图片上，是2008-2017年见各省的生产值，为此学习了根据图片而进行的爬虫算法，利用百度API完成对图片信息的识别并对数据进行加工处理生成CDP.txt。
除此之外，对2日的GDP文档进行处理，提取出一年对应的值，存入数据库中。
3月5日：下午开始进行，昨天成功的由本地数据传入到了数据库中，今天为了提高存取效率，对hdfs进行了研究，将本地数据存入了hdfs中，python再从hdfs中获取数据进行计算，效率大大的提高了，中间hdfs遇见许多问题，进行了总结。将GDP相关的4各文件均进行处理。对0的数据进行删除，过程中思考能否利用Psql进行
3月7日：写了一个python文件用于处理0数据。发现mysql中存储的数据并不是按照文本的顺序排下来的，又重新写了排序算法。对3d的柱状图无法识别，但是能识别二维图，问题未解决！错误原因：Component series lines3D not exists…
3月8日：问题得到解决，需要从网上贵echarts的官网在下一个echarts-gl.js的包，我在网站直接点击源代码将其复制粘贴入一个文件，改名为echarts-gl.min.js,问题得到解决！
又遇见打不开mysql的问题，经过解决，重启了mysql服务
3月9日：完成了3D柱状图
3月10日：爬取了财政收入和支出的各个项目，将他们上传到hdfs中。
发现了可以爬取国家统计局数据的反爬虫教学，暂定后其学习。将CDP按照城市分类利用spark存入mysql中。
3月12日：进行CDP地图的处理，数据传送正确，view页面未能处理完毕。将平均CDP按照地区分组存入了数据库。
3月13日：成功完成CDP地图的编写！因此对web页面调试技能精进了许多。刚开始直接套用模板，发现格式不对，对经纬度的格式进行了调整后，发现传过来的数据多了个列表，是由于data_view中添加了[dic]，变为添加dic，去掉列表后即可，地图还有部分数据未显示，经过调整发现是获取的经纬度不对，进行了二次筛选
3月21日：完成了地区平均CDP的view设计。开始设计每个城市各年份的增长率，遇见许多问题，如RDD解决复杂并用dataFrame替换，在清晰数据时为所有数据增加了一个时间标签方便spark sql语句的抒写。完成了对广东历年增长率的编写，进行思考：增长率从体现的是否足够直观？还是选取一个参照标准？明天考虑参考相关经济论文进行思考。
3月24日：增长率计算时2013年只有广东，其他省市年份都是0，而2014等其他年份均正常，想过1：改变dataframe，发现要用新技术pandas2：进行update语句，发现spark sql不支持这些语句。陷入了迷茫，后来无意中突然发现都是0的这些年份其实就是global变量year的默认值，那么取巧不需要去改变数据库的值，而只需要改变默认值即可！将所有城市的rate均打印到了数据库当中
3月25日：疑惑，数据库中的内容每个省份是按年排序的，但是有些地方却出现了09年在10年之后的情况，而且不是个例，只有此处出问题。进行rate的视图化，省份过多，所以需要学习如何能够更省事的插入数据。进行后台数据检查时，发现id序列重复了导致无法获取到值，学习如何重置id（收藏夹，就是新建一个old_id存储id，再新建一个自增主键id重新赋值），完成了后台传输数据的部分。
3月26日：继续攻克view部分，学会了console.log与web端共同调试的方法，将图形表示了出来，但发现果然线条太多导致不清楚，开始思考如何处理线条过多的情况：解决方法，点击一下此图表，能够放大到中心显示！！！TODO

3月30日：进行学习，对26日的想法有新的理解，可以制作一个全屏按钮（收藏夹），需要查看时点击全屏；中央地方全部三者的财政统计图可以利用收藏夹里的，单击时获取对应的内容，无须全部展示出来。在分屏工作时绝不能ctrl+alt+l进行格式整改，会发生为了适应屏幕而导致恢复全屏时格式错误！！！全屏按钮老是弹出窗外。经改正解决。并且将3Dbar图也设置为了全屏浏览部分。TODO：虽然完善了很多，但是，没有解决全屏后能全选全取消的功能，后续完善吧。