基于:zookeeper-3.4.6.tar.gz
1.解压
tar -zxf zookeeper-3.4.6.tar.gz
2.zookeeper-3.4.6目录创建两个文件夹用来储存日志和数据
cd /hous/zookeper/zookeeper-3.4.6
mkdir data
mkdir logs
3.conf下创建zoo.cfg,打开文件添加如下
tickTime=2000
dataDir=/hous/zookeper/zookeeper-3.4.6/data
dataLogDir=/hous/zookeper/zookeeper-3.4.6/logs
clientPort=2181
4.bin目录下启停操作
./zkServer.sh start
./zkServer.sh stop
./zkServer.sh restart
./zkServer.sh status
基于:hadoop-2.9.2.tar.gz,jdk-8u202-linux-x64.tar.gz
首先安装jdk,省略…
1.解压
tar -zxf hadoop-2.9.2.tar.gz
2.修改hadoop中etc/hadoop下hadoop-env.sh文件
export JAVA_HOME=/hous/java/jdk1.8.0_202
3.修改core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml文件
1.1.core-site.xml:
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hous/hadoop/tmp</value>
</property>
</configuration>
1.2.hdfs-site.xml:
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
1.3.mapred-site.xml:
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1.4.yarn-site.xml
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
4.vim /etc/profile添加环境变量
export JAVA_HOME=/hous/java/jdk1.8.0_202
export HADOOP_HOME=/hous/hadoop/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin
5.格式化hadoop,进入hadoop中etc/hadoop目录下执行如下命令:
hdfs namenode -format
6.启动hadoop,hadoop中sbin下执行如下命令:
./start-all.sh
出现问题1:需要到/etc/hosts中配置相应的映射名称,我的这里是
127.0.0.1 master
出现问题2: vim /etc/ssh/ssh_config
找到#StrictHostKeyChecking ask去掉注释,并把ask改为no即可
若需要登录:ssh-keygen -t rsa
7.jps查看进程是否都启动
13076 ResourceManager
13366 NodeManager
12617 NameNode
12923 SecondaryNameNode
13484 Jps
12750 DataNode
如上启动正常。
hbase安装基于hbase1.2.6
1.配置conf/hbase-env.sh文件
#jdk目录
export JAVA_HOME=/hous/java/jdk1.8.0_202
#hbase目录
export HBASE_CLASSPATH=/hous/hbase/hbase-1.2.6/conf
#是否启用hbase自带zk,false不启用
export HBASE_MANAGES_ZK=false
#zk目录
export HBASE_PID_DIR=/hous/zookeeper/zookeeper-3.4.6/conf
2.配置conf/hbase-site.xml文件
<configuration>
<!--这里使用hbase默认客户端16010-->
<!--<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>-->
<property>
<name>hbase.master</name>
<value>master:6000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<!--此处与hadoop中hdfs通信地址配置一致-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!--hbase访问节点-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>master</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/hous/zookeeper</value>
</property>
<!--表示单节点-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.配置环境变量/etc/profile
export HBASE_HOME=/hous/hbase/hbase-1.2.6
export PATH=$PATH:$HBASE_HOME/bin
执行source /etc/profile
4. ./start-hbase.sh运行.或访问hbase客户端。