hadoop
Anakki
后端开发/风光摄影师/驴友/航拍手/后期小佬/火星居民
展开
-
hadoop发布一个任务:远程jar包部署(备忘)
ps:需要装好HDFS的环境此次实验是统计各ip的访问次数。准备工作:1.运行hdfs:[root@CentOS ~]# start-dfs.sh2.写好任务任务结构:MapperDemo类,规定了如何分析数据。package com.yun;import org.apache.hadoop.io.IntWritable;import org.apa...原创 2019-01-11 21:38:42 · 807 阅读 · 0 评论 -
解读MapReduce中逻辑切片的实现方法getSplits源码
在书写任务的run方法时,定义输入输出格式中,我们使用了两段代码://2 设置数据读入与写出格式job.setInputFormatClass(TextInputFormat.class);job.setOutputFormatClass(TextOutputFormat.class);其中TextInputFormat和TextOutputFormat被我们用来设置输入和输出格式...原创 2019-01-12 22:59:57 · 1275 阅读 · 0 评论 -
YARN环境搭建步骤备忘
PS:搭建前请保证已经搭建好了HDFS的环境。安装前后台进程:[root@CentOS ~]# jps1427 DataNode1604 SecondaryNameNode1716 Jps1339 NameNode1.修改yarn-site.xml文件如下,我的hadoop-2.6.0安装在usr目录下。因此文件yarn-site.xml在如下路径/usr/had...原创 2019-01-09 17:57:53 · 1673 阅读 · 0 评论