了解大数据的特点、来源与数据呈现方式

本作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639

一、.浏览2019春节各种大数据分析报告

二、这些分析所采用数据的来源

      春运的数据都是呈现在旅途上,所以一般数据会来自于铁路、航空、水运等交通运输部门,可以采用各种平台上春运售票的基本信息、机器和传感器数据如旅客的定位/ GPS 系统数据等来分析。购物大数据主要还是来自于网上的购物平台,如天猫、淘宝等,由于信息量庞大,是分析购物大数据的信息必要来源。分析人们的消费习惯的信息可以来自于支付宝等支付平台,它可以对消费信息进行一个分类,能更好的获取到有益的信息。春节的娱乐方式如旅游、看电影之类的活动,主要可以从美团、猫眼等各种APP或者政府机构、非营利组织和企业免费提供的数据等上面获取。春节微信上面的信息发送量主要来自于移动通信等上面得到的数据。

三、大数据的呈现方式

大数据主要可以有以下几种呈现方式:

数据统计图数据图形化数据统计表数据可视化数据关系图形化

四、大数据的特点

大数据的特点主要是四个“V”:

        一、是数据体量巨大(Volume)。截至目前,人类生产的所有印刷材料的数据量是200PB(1PB=210TB),而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。

        二、是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。

        三、是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

        四、是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。

五、大数据对思维方式有何影响

一、数据量的变化:人们处理的数据从样本数据变成全部数据;

二、宏观处理数据:由于是获取到全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;

三、关注数据关系:人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。

事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧

六、准备、安装python编程环境

 下载安装

         https://www.python.org/

         https://www.jetbrains.com/pycharm/download/#section=windows 

         基础学习

        廖雪峰https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000  

        菜鸟教程http://www.runoob.com/python3/python3-tutorial.html 

七、设计完成一个Mad Libs游戏

1
2
3
4
name1  =  input ( '请输入名字:' )
name2  =  input ( '请再输入名字:' )
print ( '有一天,{}问:有4只猪掉进河里,你会去救吗?\n{}:救。\n你救4(就是)只猪。' . format (name1,name2))
input ( 'press any key...' )

  

 

转载于:https://www.cnblogs.com/lingzihui/p/10471058.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
技能大赛大数据技术与应用中的数据源主要是以CSV格式存储的数据。CSV(Comma-Separated Values,逗号分隔值)是一种常用的数据交换格式,由于其简单、易读且易于处理的特点,被广泛应用于大数据技术与应用领域。 CSV数据源可以包含各种类型的数据,例如数字、文字、日期等,并且可以包含多个字段。每个字段之间通常由逗号分隔,并且一个或多个字段可以组成一条记录。 在技能大赛中,大数据技术与应用使用CSV数据源主要有以下几个方面的应用: 1. 数据导入和导出:将CSV格式的数据源导入到大数据平台中,或将处理后的结果导出为CSV文件。通过这种方式,可以实现数据的灵活导入和导出,方便数据的处理和分析。 2. 数据清洗和预处理:CSV数据源可以进行简单的数据清洗和预处理,例如去除重复数据、删除空值、格式转换等。这些操作可以提高数据的质量和准确性,为后续的分析工作奠定基础。 3. 数据分析和挖掘:通过应用各种大数据技术和算法,对CSV数据源进行深入的分析和挖掘。例如,可以通过数据挖掘算法发现隐藏在数据中的模式和规律,进而提供决策支持和业务优化建议。 4. 可视化展示:将CSV数据源中的数据进行可视化展示,以图表、图像或地图等形式呈现,可以更直观地理解和分析大数据。 综上所述,CSV数据源是技能大赛大数据技术与应用中常见的数据来源之一。通过对CSV数据源的处理和分析,可以获得有价值的信息和洞察,支持决策和业务优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值