xu_guo_jie的博客

[hdp2.4系列] 搭建本地yum源在使用ambari搭建hdp集群的过程中，要访问官方的软件包下载地址，一是速度非常慢，二是后续进行集群部署时，很有可能用户连的是内网，不允许连接互联网。所以研究搭建本地的yum源是非常必要的。一、环境准备1. 准备一台linux操作系统。以Centos6.7为例。安装软件时经常会对应不用版本系统，有不同的发行包。如何查看使用的系统的发行版本呢。 查看发行版本

分布式hdp2.4集群相关的机器情况列表机器名称ip域名用途yum192.168.0.105yum.bigdata.com本源yum源服务器master192.168.0.130master.bigdata.commaster节点slave1192.168.0.131slave1.bigda

在master上安装ambari-server在master、slave1、slave2、slave3上安装ambari-agent一、ambari-server安装使用root用户登录master节点。yum install ambari-server中间需要输出 y 确认一次，最后看到complete提示安装完成。二、ambari-server配置使用root用户登

在使用ambari 搭建hdp的时在，在主机确认环节，主机无法注册成功。ambari-agent端报错日志如下Traceback (most recent call last): File "/usr/lib/python2.6/site-packages/ambari_agent/main.py", line 306, in main(heartbeat_stop_call

一、服务器环境配置1 服务器列表名称 地址 操作系统 root密码 master 192.168.217.130 Centos 7 root slave1 192.168.217.131 Centos 7 root slave2 192.168.217.132 Centos 7 root 2 配置ssh信任ssh-keygen cat .ssh/*.pub > .s...

最近在看MapReduce，想起一直都是Copy 然后修改的方法来写。突然想试试自己动手写一个级其简单的mr程序。细节决定成败啊，不试不知道，一试才能发现平时注意不到的细节。下面是我用了很快时间写好的一个程序，注意，这份是有问题的！package wordcount;import java.io.IOException;import org.apache.commons.lang...

下面是一个计算输入文件中a~z每个单字符的数量的一个map reduce 程序。package wordcount;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.h...

上一篇中，我们写了一个统计输入文件中 a~z 每个字符个数的mr 程序。通过查看运行日志的Counter 计数可以看到map 到 reduce 之间的网络传输是多少。而本篇我们将介绍的Combiner 是一个非常重要的组件，主要可以用来减少网络传输。原理是在每个map 任务运行节点上，先把map的输出进行汇总，然后再传输到reducer任务，也可以称此为一个map 端的reduce操作。先上...

为什么使用in-map aggregation, 与combine 有什么区别，什么时候使用combiner ，什么时候使用in-map 聚合？先介绍用一张图看看一下combiner 在一个mr job中的位置。 下面上干货：数据文件 由  InputFormat 读取，传入到Map阶段处理。 Map处理完后，会把结果key value 对写到Map 任务节点内存中的一个环形缓存区。写...