创建cloudera-cdh5本地yum源

 创建cloudera-cdh5本地yum源

1目的：

为在centos6.5 搭建cdh5集群，而创建本地yum源。

2 过程：

2.1前提步骤:搭建tomcat web站点

 

参考：

CentOS-6.3安装配置Tomcat-7 - Constantin - 博客园

http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891633.html

 

我的tomcat安装目录：

/usr/local/tomcat7

 

2.2搭建本地yum

 

1.配置CDH5的官方源

使用cloudera的一键包，或手动下载CDH5的.repo文件

rpm -Uvh http://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm

或

wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

mv cloudera-cdh5.repo /ect/yum.repo.d/

2.安装yum工具

yum install -y yum-utils createrepo

 

3.同步CDH5的源

注意，“cloudera-cdh5”应该与/ect/yum.repo.d/下的cdh的.repo文件名一致

过程中可能因为连接不好而中断，请在repo sync之前运行，

sudo sysctl -w net.ipv4.tcp_window_scaling=0  来改变TCP连接

 

reposync -r cloudera-cdh5

开始向cloudera-cdh5下载软件包。

这个步骤的执行时间看网络情况，完成看到：

 

4.链接或移动同步的rpm文件夹到前一步的tomcat的能访问的页面下：

mv /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5

或

ln -s /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5

（用软链接的时候，用绝对路径）

5.创建repo

cd /var/www/html/mirrors/cdh/cloudera-cdh5

createrepo .

(参数是当前目录那个点)

 

6.修改指向CDH的.repo文件

vi /etc/yum.repo.d/cloudera-cdh5.repo

baseurl=http://crxyum.crxy:8080/cloudera-cdh5/

 

7.验证yum源

yum update && yum install hadoop

正确显示hadoop的包即正确

 

8.使用方法

把前面修改后的/etc/yum.repos.d/cloudera-cdh5.repo，替换hadoop集群中对应文件

需要配置/etc/hosts文件来解析crxyum.crxy主机

 

之后再其他主机上安装hadoop软件的时候如：

sudo yum clean all; sudo yum install hadoop-yarn-resourcemanager

 

 

 

 

192.108.1.201 crxyum.crxy

 

参考：

Creating a Local Yum Repository

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_yumrepo_local_create.html#topic_30

 

CentOS 6.5 搭建CDH5源 - Beckham008的专栏 - 博客频道 - CSDN.NET

http://blog.csdn.net/beckham008/article/details/17750747

 

Installing CDH 5

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_cdh5_install.html?scroll=topic_4_4_1_unique_2__p_31_unique_2

 

 

2.3问题：

Qes1

Too many levels of symbolic links 问题 - 张贺 - 博客园

http://www.cnblogs.com/gbyukg/archive/2011/11/30/2269582.html

 

Qes2

TOMCAT怎么设置才能访问软连接的文件夹 - ccuzjs的日志 - 网易博客

http://ccuzjs.blog.163.com/blog/static/30438443201111214141180/

 

 

附： 创建cloudera-manager本地yum源

 

cd /etc/yum.repo

mkdir cloudera-manager

reposync -r cloudera-manager

createrepo .

ln -s /etc/yum.repos.d/cloudera-manager  /usr/local/tomcat7/webapps/ROOT/cloudera-manager

 

baseurl = http://crxyum.crxy:8080/cloudra-manager/

 

其他补助参考前面。

 

附：使用yum代理

yum配置文件写代理IP，port

在/etc/yum.conf加入如下内容：http_proxy=http://server:port。

最好在/etc/yum.conf增加timeout时间，timeout=55555。自己设置长点就行。

 

来自为知笔记(Wiz)

转载于:https://www.cnblogs.com/xfly/p/4037533.html