理解大数据的三个V实验序列

1Volume实验

        要求:在助教协助下,利用云平台进行Word Count MapReduce实验(或者Sort/Inverted Index等)。目的:对大数据的分布式处理有更加直观认识。

提示:助教撰写实验指导。

1,助教准备一个大文本文件1GB。

2,启动Hadoop,把文件上传HDFS,运行Word Count MapReduce程序,打印结果并且分析,获得Top 10 Words。

3,撰写实验报告:

                //前言(介绍Hadoop,MapReduce)

                //Word Count(或者Sort/Inverted Index等)剖析

                //实验过程与实验结果(包括命令和结果)

 

2Velocity实验

        要求:在助教协助下,利用云平台进行RollingTopWords Storm实验。目的:对流式数据处理有更加直观认识。

提示:助教撰写实验指导。

1,启动Storm

2,运行RollingTopWords Topology

3,撰写实验报告:

                //前言(介绍流式数据处理技术及Storm)

                //RollingTopWords 剖析

                //实验过程与实验结果(包括命令和结果)

3Variety实验

        要求:使用Python语言,保存如下信息,并且可视化出来。目的:对现实世界的表示、和数据的多样性、数据的联系有直观认识。

        提示:用关系模型(关系表)、或者图模型(属性图),表示如下信息。考虑如何在关系模型和图模型之间进行转换。文本信息,在模型中保存为字符串。图片保存到图像文件中,在模型中保留文件名。

1,用关系模型表示上述信息。

2,用图模型表示上述信息。

3,并且可视化(Optional)。

4,撰写实验报告:

                //如何用关系模型表示上述信息。

                //如何用图模型表示上述信息。

                //如何把关系模型,转换为图模型。

                //如何进行可视化。

                //实验结果。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值