2016年09月_BabyFish13

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Cloudera CDH新增节点到集群参考步骤

1、新加机器环境配置首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。2、上传cloudera-manager文件到/opt目录，修改agent配置文件：vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.iniserver

2016-09-20 17:20:43 11256 7

原创几个有关hadoop生态系统的架构图

1、hadoop1.0时期架构2、hadoop2.0时期架构3、hdfs架构Active Namenode主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求Secondary NameNodeNameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Activ

2016-09-13 17:24:53 20060 1

原创 CDH启停顺序

之前，一直在考虑ＣＭ、ＣＤＨ组件按什么样的顺序启动和停止比较好。最近又安装了一下ＣＤＨ集群，他们的安装顺序是如下图所示的：ＣＤＨ的启动和停止也按照这样的顺序应该是比较合理的。

2016-09-11 11:26:09 4122

原创干净卸载 Cloudera CDH 5

转自：http://www.cnblogs.com/chenfool/p/3738540.htmlCloudera 的官方介绍：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.8.1/Cloudera-Manager-Installation-Guide/cmig_uninstall_CM.ht

2016-09-11 11:12:06 6041

原创 cloudera-scm-agent 启动失败 'Unable to create the pidfile'问题解决

问题安装cloudera namager时，cloudera-scm-server可以正常启动，cloudera-scm-agent启动失败。查看日志 /opt/cm-5.7.0/log/cloudera-scm-agent/cloudera-scm-agent.out的内容，打印一下内容：/opt/cm-5.7.0/lib64/cmf/agent/build/env/li

2016-09-11 10:23:46 3683

原创 CentOS7/Red Hat7 NTP服务无法开机自启动问题解决

centos7不同于以往linux的操作，对于开机自启动的调整，命令有所不同。 chkconfig --list查看非系统内置服务的自启动状态[root@master ~]# chkconfig --listNote: This output shows SysV services only and does not include native systemd serv

2016-09-11 10:06:39 9714

原创离线安装Cloudera Manager 5(5.1.3)和CDH5(5.1.3)

关于CDH和Cloudera ManagerCDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、Spark等等。CDH (Clouder

2016-09-01 15:26:25 1874

原创 Centos修改镜像为国内Yum源

转自：https://www.ruooo.com/VPS/594.html有一些服务商的系统给默认YUM源设置的是国外的,这样就会导致下载速度缓慢。国内几家比较热门的镜像点，下面的镜像全部支持Linux的任何一个发行版的系统。阿里云Linux安装软件镜像源阿里云是最近新出的一个镜像源。得益与阿里云的高速发展，这么大的需求，肯定会推出自己的镜像源。阿里云Linux安装镜像

2016-09-01 11:13:31 3866

原创 centos7下使用yum安装mysql

CentOS7的yum源中默认是没有mysql的。为了解决这个问题，需要先下载mysql的repo源。1. 下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-community-release-el7-5.noarch.rpm包$ su

2016-09-01 11:02:06 555