伪分布式集群环境搭建、jdk、hadoop、zk、hbase、hive、mysql

准备工作

一台机子(静态ip、映射)

hadoop用户下准备：

jdk1.8：

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

hadoop3.0

http://hadoop.apache.org/releases.html

zookeeper3.4.1

http://archive.cloudera.com/cdh5/cdh/5/

hbase1.4.2

hive2.3.2

http://apache.fayea.com/hive/

root用户下准备：

mysql

一

1.1 创建用户

创建hadoop用户组：useradd -m hadoop -G root -s /bin/bash

设置hadoop用户密码：passwd hadoop

设置hadoop用户权限： 命令visudo 92行copy一下，把root改成hadoop

1.2 SSH无密码登录

切换到hadoop用户下，如果没有.ssh目录输入ssh localhost命令即可

进到.ssh目录输入ssh-keygen -t rsa生成秘钥

然后在主机创建一个authorized_keys文件, 并修改其权限

chmod go-rw authorized_keys

将id_rsa.pub追加到authorized_keys中

cat id_rsa.pub >> authorized_keys

二

2.1上传包、解压、重命名

2.2 环境变量

#Jdk

export JAVA_HOME=/home/hadoop/app/jdk

#Hadoop

export HADOOP_HOME=/home/hadoop/app/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# Zookeeper

export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper

# HBase

export HBASE_HOME=/home/hadoop/app/hbase

# Hive

export HIVE_HOME=/home/hadoop/app/hive

# PATH

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin

2.3 Hadoop 伪分布式

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop的伪分布式配置需要设置环境变量，不设置的会报错，伪分布式的配置我们仍然使用主机Master即可，Master既是NameNode，同时