![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop大数据
LikeWaterC
这个作者很懒,什么都没留下…
展开
-
学习Hadoop权威指南之MapReducer气象数据分析
气象数据集 关于MapReduce MapReduce是一种可用于数据处理的编程模型,它本质上是并行运行的,因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集,这里我们先看一个数据集。我们今天的目的是:在大批量的气象数据中,获取每年每月的最高气温。 数据格式 我们使用的数据来自于权威指南提供的美国国家气候数据中...原创 2018-08-09 14:13:22 · 4936 阅读 · 0 评论 -
学习Hadoop权威指南之Hadoop运行MapReduce日志查看
修改map配置文件 mapred-site.xml [root@bigdata yar]# vim /opt/hadoop-2.8.3/etc/hadoop/mapred-site.xml <property><name>mapreduce.jobhistory.address </name><value>bigdata.cq...原创 2018-08-09 14:20:57 · 3783 阅读 · 0 评论 -
MapReduce输入输出格式
常用输入格式 输入格式 特点 使用的RecordReader 是否使用FileInputFormat的getSplits TextInputFormat 以行偏移量为key,以换行符前的字符为Value LineRecordReader ...转载 2018-08-10 16:11:51 · 1308 阅读 · 0 评论 -
hadoop2.8.3 + hive2.3.3 + hbase0.98.24 + spark2.1.3安装
安装虚拟机安装文件:CentOS-6.6-x86_64-bin-DVD1.iso 自定义硬件内存增加到8G,处理器修改为4核 自动安装永久修改hostnamevim /etc/sysconfig/networkHOSTNAME=bigdata.cqmfin.com...原创 2018-08-07 14:27:44 · 1535 阅读 · 0 评论