hadoop
CPU在缓存中
运转CPU,做课题分离
展开
-
MapReduce基础编程——combiner基础运用
内容:假设一个年级有两个班级,数据分别在class1.csv和class2.csv中,求该年级的数学成绩平均值。数据第一列为学号,第二列为数学成绩。 要求,必须使用Combiner类,且最后输出一行数据,该行仅有一个平均值。结果(一)自定义Writable import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.Wri原创 2020-05-21 11:25:33 · 261 阅读 · 0 评论 -
MapReduce 并行编程——自定义数据类型、分区和排序
实验内容假设有一个服务器每天都记录同一个网站的访问量数据,主要是该网站下所有页面中的最大访问量和最小访问量,数据存储在下面三个文件中。数据格式如下(记录时不具体到天):说明:第一列为某年某月的时间信息,第二列为该月内某天观测到的最大访问量,第三列为该月内同一天观测到的最小访问量。程序设计要求如下:最后输出网站每个月内的最大值、最小值,一个月一行数据。如图中2017-07最大值为900,最小值为100;2017-08最大值为560,最小值为200输出格式如下:2017-08 560 200原创 2020-05-21 11:08:04 · 336 阅读 · 0 评论 -
Hadoop集群环境搭建——文件上传
实验内容Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,高扩展,高效性,高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算。此外,Hadoop还包括了Hive,Hbase,ZooKeeper,Pig,Avro,Sqoop,Flume,Mahout等项目。(摘原创 2020-05-21 10:41:30 · 2160 阅读 · 2 评论 -
key的自定义类型
根据例【5-13】,设计一个可用于key的自定义类型。要求以时间戳为参照进行比较。原理除了Writable接口的readFields()和write()方法之外,WritableComparable接口还引入了compareTo()方法。compareTo()方法的返回值有三种类型:负整数,0或正整数,分别表示当前对象小于,等于或大于被比较对象。在compareTo实现中,是将title、 timestamp和content三者封装在一起,通过比较当前timestamp和MyKeyWritableCo原创 2020-05-21 10:20:36 · 553 阅读 · 0 评论 -
hadoop基础学习
使用Java API方式完成下列要求,给出相应代码。请将本地桌面/last/score.txt文件上hdfs://master:9000/waibao下将hdfs上的该文件重命名为自己学号.txt(2017874101.txt)将学号.txt文件下载到本地***(1) 请将本地桌面/last/score.txt文件上传到dfs://localhost:9000/waibao下1.在hdfs://localhost:9000下新建一个名为waibao的文件夹创建结果截图:2.进入桌面并创原创 2020-05-21 09:49:46 · 216 阅读 · 0 评论