Hadoop及Hbase安装介绍

最新推荐文章于 2024-05-03 15:28:18 发布

m0_37261091

最新推荐文章于 2024-05-03 15:28:18 发布

阅读量1k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/m0_37261091/article/details/87896162

版权

本文详细介绍了如何使用Cloudera Manager搭建Hadoop HDFS和MapReduce集群，包括CDH的安装、Hbase的基本操作、Phoenix的安装与使用，以及Hbase的配置调优。还涵盖了Squirrel的安装、Sqoop的导入导出和Spark2的配置。最后，文章提供了Hadoop运维和调优的相关命令与参考资料。

摘要由CSDN通过智能技术生成

Hadoop简介

Hadoop是一个由Apache基金会所开发的分布式基础结构，主要包括HDFS和MapReduce两部分，HDFS是分布式文件系统，MapReduce是一个用于大数据计算的编程模型。从Hadoop 2.0开始，资源调度统一由Yarn进行管理，Yarn由ResourceManager和NodeManager两部分组成。
Hadoop发行版本，主要有Apache发行版和第三方发行版本，比如CDH等，第三方发行版可以很好地兼容其他Hadoop生态圈软件，比如Spark、Hive、HBase等。
生产环境中，我们一般会选择CDH Manager搭建集群，它可以很方便地搭建一个Hadoop集群，易于监控集群，扩展节点方便。

基础环境准备

下载JDK8安装包，解压至/usr/java目录下，并设置好环境变量：

vi  ~/.bash_profile
export JAVA_HOME=/usr/java/jdk1.8.0_111
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HOME/bin:$PATH

将MySQL驱动拷贝至/usr/share/java目录下，并重命名为mysql-connector-java.jar
配置NTP时间同步

yum -y install ntp —— 安装NTP
chkconfig ntpd on —— 开启启动
ntpdate -u s2c.time.edu.cn —— 时间同步
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  —— 时间设置为东八区
date -R —— 查看当前时区
时间同步配置存在一些问题，并未配置从master同步时间，导致集群环境频繁出现“时钟偏差”异常，这部分后续细化。

修改/etc/hosts，设置集群机器别名，例如：
192.168.0.0 master
192.168.0.1 slave1
192.168.0.2 slave2
配置生效：
service network restart
配置免密登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
$ chmod 0600 ~/.ssh/authorized_keys
ssh-copy-id master
以上都在master上操作，然后分发至其他机器，分发实例：
scp /etc/hosts slave1:/etc/
scp ~/.bash_profile slave1:~/
scp ~/.ssh/authorized_keys root@slave1:~/.ssh
scp /usr/share/java/mysql-connector-java.jar slave1:/usr/share/java/
scp –r /usr/java/jdk1.8.0_111 slave1:/usr/java/

Linux服务器调优

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
sysctl -w vm.swappiness=0  —— 临时调整
cat /proc/sys/vm/swappiness  —— 查看结果
echo 'vm.swappiness=0'>> /etc/sysctl.conf  —— 重启生效

Cloudera Manager安装

安装指南：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_b.html

1)	下载cloudera-manager.repo，并拷贝至/etc/yum.repos.d目录下
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
2)	Master上安装Server
sudo yum -y install cloudera-manager-daemons cloudera-manager-server
vi /etc/default/cloudera-scm-server
export JAVA_HOME=/usr/java/jdk1.8.0_111
3)	安装Agent（所有机器）
sudo yum -y install cloudera-manager-agent cloudera-manager-daemons
vi /etc/cloudera-scm-agent/config.ini
配置server_host and server_port
4)	初始化数据库
/usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p123456 --scm-host master scm scm scm
查看数据库配置：
cat /etc/cloudera-scm-server/db.properties
5)	上传CDH parcel至/opt/cloudera/parcel-repo目录
下载地址：https://archive.cloudera.com/cdh5/parcels/5.14.2/
以CentOS7.X为例，下载以下文件：
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1
manifest.json
并将CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1重命名为
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
6)	启动Cloudera Manager
启动Cloudera Server：sudo service cloudera-scm-server start（master）
启动Cloudera Agent：sudo service cloudera-scm-agent start（all）
对于Cloudera Server，默认7180为管理端口，7182为和Agent通信端口
管理台地址：http://master:7180  账户/密码：admin/admin
7)	日志调试
Cloudera Server日志：