Hadoop 集群搭建

最新推荐文章于 2024-04-27 23:53:24 发布
最新推荐文章于 2024-04-27 23:53:24 发布
阅读量340 收藏 1
点赞数
分类专栏： Hadoop 文章标签： Hadoop CDH Cloudera Amabri
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moqq1354542674/article/details/81698821
版权

更多资料请查看我的博客笔记爱白菜鱼 www.ibaicaiyu.com

搭建过那么多次hadoop也没好好总结下，这次公司发了电脑，跑3台虚拟机完全不虚，所以想在自己的机器上搭建hadoop,学习大数据做相关实验，为了避免以后再重复学习，找资料花费大量时间，做笔记如下
一切内容均摘自cloudera官网

0、参考资料

官方参考文档：http://www.cloudera.com/

官方安装文档：https://www.cloudera.com/documentation/enterprise/latest/topics/install_cm_cdh.html

官方版本和下载信息： https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_vd.html

1、离线下载资料：

CM:

cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

下载地址 https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/4/

CDH:

2、安装之前的准备：

配置网络名称

  1. 将主机设置为唯一名称 

    sudo hostnamectl set-hostname ccc.example.com

  2. 编辑 /etc/hosts文件使用群集中每个主机的IP地址和完全限定的域名（FQDN）。您也可以添加非限定名称以添加非限定名称 

    192.168.221.10 hadoop1.teradata.com hadoop1
192.168.221.11 hadoop2.teradata.com hadoop2
192.168.221.12 hadoop3.teradata.com hadoop3

  3. 编辑host的hostname/etc/sysconfig/network用FQDN： 

    HOSTNAME=hadoop1.teradata.com

  4. 验证host是不是唯一的标识对于network

    • uname -a(验证输出是不是和hostname相同)
    • ifconfig(验证IP地址)
    • host -v -t A $(hostname) (host找不到，请执行yum install bind-utils安装，验证输出是不是符合hostname命令，IP地址是不是和ifconfig命令中的eth0,bond0一样)

3、权限设置

我们使用root用户的最高权限，但是不同主机之间不要配置无密码登录，步骤如下：
只配置主节点到子节点的无密登录就行
先删除所有密钥 rm -rf ~/.ssh/* 

    # ssh-keygen -t rsa
    # ssh-copy-id hadoop1
    # ssh-copy-id hadoop2
    # ssh-copy-id hadoop3

4、JDK安装

官网下载jdkjdk-8u171-linux-x64.tar.gz
安装在/usr/java目录下 

    tar xvfz jdk-8u171-linux-x64.tar.gz  -C /usr/java/

5、其他事项

  • 关闭防火墙

    systemctl stop firewalld
    systemctl disable firewalld

  • SELINUX关闭 

    setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
iptables --flush
reboot  #重启生效

  • 设置文件打开数量及最大进程数 

    cp /etc/security/limits.conf /etc/security/limits.conf.bak
echo "* soft nproc 32000" >>/etc/security/limits.conf
echo "* hard nproc 32000" >>/etc/security/limits.conf
echo "* soft nofile 65535" >>/etc/security/limits.conf
echo "* hard nofile 65535" >>/etc/security/limits.conf

  • 同步时间
    安装ntp服务 

    yum -y install ntp

启动ntp服务，并设置开机自启 

    systemctl start ntpd
    systemctl enable ntpd

6、配置Cloudera Manager 管理库

  1. 在主节点中配置仓库，下载Download the cloudera-manager.repo文件 

    wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo -P /etc/yum.repos.d/

  2. 导入存储库签名GPG密钥： 

    rpm --import https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera

  3. 把本地安装包（parcel）放入指定目录：

    cp CDH-5.15.0-1.cdh5.15.0.p0.4-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-5.11.1-1.cdh5.15.0.p0.4-el7.parcel.sha1 /opt/cloudera/parcel-repo/
mv /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.11.1.p0.4-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.11.1.p0.4-el7.parcel.sha

7、安装Cloudera Manager服务

  1. 手动安装： 

    sudo yum --nogpgcheck localinstall cloudera-manager-daemons  -  * .rpm 
sudo yum --nogpgcheck localinstall cloudera-manager-server  -  * .rpm

  2. 网络安装，前提是配置了yum cloudera repo 

    sudo yum install cloudera-manager-daemons cloudera-manager-server

8、安装和配置数据库

我们这次使用PostgreSQL试试，抛弃Mysql数据库

  1. 安装PostgreSQL数据库： 

    sudo yum install postgresql-server

  2. 安装python-pip包（hue依赖她）: 

    yum -y install epel-release
sudo yum install python-pip

  3. 安装psycopg2使用pip: 

    sudo pip install psycopg2

  4. 链接psycopg2目录为Hue Python环境 

    sudo ln -s /usr/lib64/python2.7/site-packages/psycopg2 /opt/cloudera/parcels/CDH/lib/hue/build/env/lib/python2.7/site-packages/psycopg2

配置和初始化PostgreSQL数据库

  1. 确保LC_ALL被设定为en_US.UTF-8并按如下方式初始化数据库： 

    echo 'LC_ALL="en_US.UTF-8"' >> /etc/locale.conf
sudo su -l postgres -c "postgresql-setup initdb"

  2. 开启MD5验证，编辑pg_hba.conf文件，通常在/var/lib/pgsql/data or /etc/postgresql//main目录下，添加如下一行（在host all all 127.0.0.1/32 ident之前） 

    host all all 127.0.0.1/32 md5

    但是我实际安装后面报错，这里改成：

    host all all 0.0.0.0/0 md5

  3. 因群集大小和资源而异，更新/var/lib/pgsql/data/postgresql.conf 或者 /var/lib/postgresql/data/postgresql.conf文件

    shared_buffers - 256MB
    wal_buffers - 8MB
    checkpoint_segments - 16
    checkpoint_completion_target - 0.9

  4. 配置PostgreSQL 数据库开机启动 

    sudo systemctl enable postgresql

  5. 配置postgresql.conf文件
    vi /var/lib/pgsql/data/postgresql.con·修改该文件的内容如下 

    listen_addresses = '*'

  6. 重启数据库 

    sudo systemctl restart postgresql

9、 创建数据库为Cloudera software

记住自己配置的数据库名，数据库名，密码，要为以下服务配置数据库

TIM截图20180704152102

使用命令如下：

连接数据库 

    sudo -u postgres psql

创建数据库用如上图中的数据 

    CREATE ROLE <user> LOGIN PASSWORD '<password>'; 
    CREATE DATABASE <database> OWNER <user> ENCODING 'UTF8';

整理内容如下：
- 创建角色 

    CREATE ROLE     scm LOGIN PASSWORD 'scm';
    CREATE ROLE     amon LOGIN PASSWORD 'amon';
    CREATE ROLE     rman LOGIN PASSWORD 'rman';
    CREATE ROLE     hue LOGIN PASSWORD 'hue';
    CREATE ROLE     metastore LOGIN PASSWORD 'hive';
    CREATE ROLE     sentry LOGIN PASSWORD 'sentry';
    CREATE ROLE     nav LOGIN PASSWORD 'nav';
    CREATE ROLE     navms LOGIN PASSWORD 'navms';
    CREATE ROLE     oozie LOGIN PASSWORD 'oozie';

  • 创建数据库 

    CREATE DATABASE scm OWNER scm ENCODING 'UTF8';
CREATE DATABASE     amon     OWNER  amon     ENCODING 'UTF8';
CREATE DATABASE     rman     OWNER  rman     ENCODING 'UTF8';
CREATE DATABASE     hue  OWNER  hue  ENCODING 'UTF8';
CREATE DATABASE     metastore    OWNER  metastore    ENCODING 'UTF8';
CREATE DATABASE     sentry   OWNER  sentry   ENCODING 'UTF8';
CREATE DATABASE     nav  OWNER  nav  ENCODING 'UTF8';
CREATE DATABASE     navms    OWNER  navms    ENCODING 'UTF8';
CREATE DATABASE     oozie    OWNER  oozie    ENCODING 'UTF8';

对于PostgreSQL 8.4及更高版本，请设置 standard_conforming_strings =off 对于Hive Metastore和Oozie数据库： 

    ALTER DATABASE <database> SET standard_conforming_strings = off;

10、 设置Cloudera Manager数据库

语法：

    /usr/share/cmf/schema/scm_prepare_database.sh [options] <databaseType>  <databaseName>  <databaseUser>  <password>

执行： 

    sudo /usr/share/cmf/schema/scm_prepare_database.sh postgresql  scm  scm

如果一下文件存在请删除：

    sudo rm /etc/cloudera-scm-server/db.mgmt.properties

11、安装CDH

  1. 启动Cloudera Manager Server 

    sudo systemctl start cloudera-scm-server

  2. 等待几分钟让服务起来，也可用如下命令查看服务启动进程

    sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

  3. 服务起来后再浏览器中输入http://<server_host>:7180,看到登录界面，用户名：admin,密码：admin

  4. 一直安装就行，中间输入三个集群（hadoop1,hadoop2,hadoop3）

12. 安装hadoop生态软件

  1. 欢迎来到Cloudera Manager
    TIM截图20180709092446
    试用60天
    TIM截图20180709092716

TIM截图20180709092825

TIM截图20180709092840

TIM截图20180709093224

TIM截图20180709105914

TIM截图20180709105945

安装完成后就可以添加我们所需要的服务了

TIM截图20180709110208

TIM截图20180712094530
注意：内存紧张可以把cloudera-manager服务关了或者不安装，只安装自己所需要的组件即可！（我为节点分配了4 3 3 内存，安装了hadoop核心服务，因为内存不足服务起来后又挂掉，建议把不用的服务关了，用的时候开启对应的服务就行，感觉出现的所有警告都是磁盘，内存分配不足的原因，抑制下就好了）

CCCCong
关注
专栏目录
PostgreSQL的学习心得和知识总结（八十三）|词法级自上而下完美实现Oracle数据库的 q转义 的实现方案
孤傲小二~阿沐的博客
07-12 4623
目录结构 注：提前言明 本文借鉴了以下博主、书籍或网站的内容，其列表如下： 1、参考书籍：《PostgreSQL数据库内核分析》 2、参考书籍：《数据库事务处理的艺术：事务管理与并发控制》 3、PostgreSQL数据库仓库链接，点击前往 4、日本著名PostgreSQL数据库专家 铃木启修 网站主页，点击前往 5、参考书籍：《PostgreSQL中文手册》 6、参考书籍：《PostgreSQL指南：内幕探索》，点击前往 7、参考书籍：《事务处理 概念与技术》 8、PostgreSQL数据库仓库链接，.
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1127
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
SQL语句整理一--Postgre/Gauss
小强签名设计 的博客
02-06 7302
postgre/Gauss 字符串拼接 函数：concat('201911','01') 结果：2011101 数据类型转换 函数：cast(month_id as timestamp) 注意：当month_id值为2011101时才可以转换为timestamp成功，即转换后值为2019-11-01 00:00:00，如果month_id值为20111时则转换失败 错误代码：[0][SQLErr...
postgresql字符转义
热门推荐
HatOfDragon的博客
01-18 2万+
背景 大部分的数据库以及编程语言中字符转义都是使用反斜杠"\", 在postgresql９之前的版本中，也是支持反斜杠转义的，postgresql9之前支持C语言风格的字符逃逸（转义）。 比如\b表示退格， \n表示换行， \t表示水平制表符，\r标示回车，\f表示进纸．除此之外还支持\digits和\xhexdigits，分别表示转义八进制和十六进制数据。 字符转义 1. 现在的post...
postgresql standard_conforming_strings参数
魂醉的一亩二分地
12-03 2318
最近，插入postgresql数据库插入\\的时候总是提示错误 SELECT lowrite(0, '\\015'); 那么测试一下 postgres=# select '\\'; WARNING:  nonstandard use of \\ in a string literal LINE 1: select '\\';                ^ HINT:
Postgresql-转义字符
唐僧洗头爱飘柔
04-24 2179
背景： 今天碰到一个问题，就是postgresql中怎么在引号中定义变量，想了各种方法，也没有解决，下面是我找到的神似的内容。 正文 在PostgreSQL 9之前的版本中，可以直接使用反斜杠\进行转义；比如：\b表示退格， \n表示换行， \t表示水平制表符，\r标示回车，\f表示换页。除此之外还支持\digits和\xhexdigits，分别表示转义八进制和十六进制数据。 但是在Postgre...
Hadoop集群搭建
lydms的博客
02-09 2万+
Hadoop官方网站：http://hadoop.apache.org/Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1107
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
数据库——postgresql数据库中standard_conforming_strings对‘\\’的影响
dazhanglao的博客
04-13 1867
问题描述：一直用正则表达式 ('\\d{10}')来查询以数字开头的，并且是十个数字的值，‘ \\d ’代表的是以数字开头，一直都是ok的，突然有一天‘ \\d ’不再起作用，查了一上午都没发现是什么原因，问数据库管理人员才知道前天晚上数据库进行了升级，从9.1升级到了9.5.然后向这个方向去调查，发现standard_conforming_strings对‘\\’的影响。 standar...
greenplum获取建表语句_Greenplum获取表结构
weixin_39781783的博客
12-20 1973
最近在折腾greenplum，遇到一个蛋疼的问题，那就是获取表结构，也就是建表语句。大家都知道在MySQL里面是非常easy的，show create table table_name 就搞定了，在gpdb里面就没这么容易，在查询大量资料以后终于找到了方法。那就是自己定义一个函数去获取，函数中可以嵌套python代码，非常的方便。但是资料中的代码有大量错误，在经过几番调试以后终于可以使用了。如果没...
安装CDH5.15.0过程详细记录￥坑与解决办法（20180724）
weixin_39027420的博客
07-24 2240
参考了网上很多教程，踩过很多坑，总结一篇，仅供参考： node1 ， node2， node3 ；其中node1 为主节点，2 3为从节点。 机子内存太小不建议安装测试学习，否则过程很难受 。。。说实话8g不建议考虑。16g还勉强。。。 最好是32g+的服务器。   下载相关软件包（推荐使用迅雷下载，国外源太慢，迅雷下载比较快原理自己了解） 名称 下载地址 1. JDK1.7...
mobilenet模型-基于人工智能的卷积网络训练识别自驾旅行路标-不含数据集图片-含逐行注释和说明文档.zip
最新发布
11-07
本代码是基于python pytorch环境安装的。 下载本代码后，有个环境安装的requirement.txt文本 首先是代码的整体介绍 总共是3个py文件，十分的简便 本代码是不含数据集图片的，下载本代码后需要自行搜集图片放到对应的文件夹下即可 需要我们往每个文件夹下搜集来图片放到对应文件夹下，每个对应的文件夹里面也有一张提示图，提示图片放的位置 然后我们需要将搜集来的图片，直接放到对应的文件夹下，就可以对代码进行训练了。 运行01生成txt.py,是将数据集文件夹下的图片路径和对应的标签生成txt格式,划分了训练集和验证集 运行02CNN训练数据集.py,会自动读取txt文本内的内容进行训练，这里是适配了数据集的分类文件夹个数，即使增加了分类文件夹，也不需要修改代码即可训练 训练过程中会有训练进度条，可以查看大概训练的时长,每个epoch训练完后会显示准确率和损失值 训练结束后，会保存log日志，记录每个epoch的准确率和损失值 最后训练的模型会保存在本地名称为model.ckpt 运行03pyqt界面.py，就可以实现自己训练好的模型去识别图片了
【超强组合】基于VMD-混沌博弈优化算法CGO-Transformer-LSTM的光伏预测算研究Matlab实现.rar
11-07
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
农产品预售平台 SSM毕业设计 附带论文.zip
11-07
农产品预售平台 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
【超强组合】基于VMD-樽海鞘优化算法SSA-Transformer-LSTM的光伏预测算研究Matlab实现.rar
11-07
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值