大数据认知

关于自己

本人大数据技术专业一枚大一学生，马上大二了，大一过的好快啊，感觉什么也没有学到，好像虚度了大一。我是一个热爱运动的人，喜欢打篮球，乒乓球和羽毛球。喜欢打游戏，但技术很菜。

对大数据的认识

大数据(Big data)
我对于大数据的认知是：短时间内快速产生的大量且多种多样的有价值的信息，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。有“4V”特点，即数据量大、处理速度快、数据种类繁多和价值密度低。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术，当前用于分析大数据的工具主要有Hadoop。
大数据无处不在，大数据应用于各个行业，
例如汽车行业：利用大数据和物联网技术实现无人驾驶汽车；
物流行业：利用大数据优化物流网络，提高物流效率，降低物流成本等等；
大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

大数据场景分析

        **利用百度API解析地址**

最近在研究把十万个地址数据，进行地址，进行经纬度转换。最后得到的数据格式：地址，经纬度，省份，市区，街道。我还没有成功做出来，就简单步骤进行分析。这个主要用Python来进行操作。
申请百度地图的秘钥
地图api 说明：https://lbs.qq.com/service/webService/webServiceGuide/webServiceOverview

获取地址对应的经纬度——地理编码
其中：
address：所查询的地名；
city：查询地区的城市，「可以省略」，主要是为了限定地区排除部分城市地区重名问题；
json：输出格式为json格式，方便后期获取地址；
ak：即上面我们获取的API Key；

.调用API将经纬度信息解析成json信息

可以自行通过json格式选择自己想要的数据，比如国家、省份、市区等

批量转换信息

Python的实现
主要用到的数据库有：request

本次实训的收获与感想

在为期四天的专业认知中，我对自己进行了更深刻的认识，我学到了很多书本上我学不到东西,通过这次的认知给我们提供了一次理论联系实际的机会。在认知过程中所学到的让我受益匪浅。为我在以后的学习中打下了基础。
总的来说,在此次认知实习中，才发现自己专业性的知识只接触个皮毛,编程不是那么简单，学习的东西还很多，以后会更加努力，希望成为一个合格的程序员。