伪分布式集群环境搭建、jdk、hadoop、zk、hbase、hive、mysql

准备工作
一台机子(静态ip、映射)
hadoop用户下准备:
jdk1.8:
hadoop3.0
zookeeper3.4.1
hbase1.4.2
hive2.3.2
root用户下准备:
mysql
1.1 创建用户
创建hadoop用户组:useradd -m hadoop -G root -s /bin/bash
设置hadoop用户密码:passwd hadoop
设置hadoop用户权限: 命令visudo 92行copy一下,把root改成hadoop
1.2 SSH无密码登录
切换到hadoop用户下,如果没有.ssh目录输入ssh localhost命令即可
进到.ssh目录输入ssh-keygen -t rsa生成秘钥
然后在主机创建一个authorized_keys文件, 并修改其权限
chmod go-rw authorized_keys
将id_rsa.pub追加到authorized_keys中
cat id_rsa.pub >> authorized_keys

2.1上传包、解压、重命名



2.2 环境变量
#Jdk
export JAVA_HOME=/home/hadoop/app/jdk
#Hadoop
export HADOOP_HOME=/home/hadoop/app/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
# Zookeeper
export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
# HBase
export HBASE_HOME=/home/hadoop/app/hbase
# Hive
export HIVE_HOME=/home/hadoop/app/hive
# PATH
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin

2.3 Hadoop 伪分布式
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
Hadoop的伪分布式配置需要设置环境变量,不设置的会报错,伪分布式的配置我们仍然使用主机Master即可,Master既是NameNode,同时
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值