从今天开始我开始复习大数据方面的知识,所以入门或者复习的朋友都可以作参考。
首先我选用的是centos6.9的三台服务器,分别是
hdp-node-01 192.168.43.130
hdp-node-02 192.168.43.131
hdp-node-03 192.168.43.132
然后就是在/etc/hosts文件中把上面的内容加进去,:wq保存
在当前用户的~目录下新建.ssh文件夹,然后cd .ssh,在当前目录下输入ssh-keygen -t rsa,一直回车,在当前目录下就会出现两个带rsa的文件,在其他两台机器也这么做,
然后回到主节点机器上,接下来输入cat id_rsa.pub >> authorized_keys,然后将这个文件分发到两个子节点上去,scp authorized_keys hdp-node-02:/home/hadoop/.ssh,以此类推,然后就是我们去在etc/profile中配置我们的环境变量,我的配置如下
#JAVA export JAVA_HOME=/home/hadoop/jdk1.8.0_77 #SCALA #export SCALA_HOME=/home/wbc/opt/scala-2.11.8 export SCALA_HOME=/home/hadoop/scala-2.10.6 #HADOOP #export HADOOP_HOME=/home/wbc/opt/hadoop-2.7.2 export HADOOP_HOME=/home/hadoop/hadoop-2.6.1 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HADOOP_HOME PATH #SPARK export SPARK_HOME=/home/hadoop/spark-1.6.3 #TOMCAT export CATALINA_HOME=/home/hadoop/tomcat export CATALINA_BASE=/home/hadoop/tomcat #ZOOKEEPER export ZOOK_HOME=/home/hadoop/zookeeper-3.3.6 #HBASE export HBASE_HOME=/home/hadoop/hbase-1.2.2 #HIVE export HIVE_HOME=/home/hadoop/hive-2.1.0 #export HIVE_HOME=/home/wbc/opt/hive-2.0.0 PATH=$HIVE_HOME/bin:$PATH export HIVE_HOME PATH #REDIS export REDIS_HOME=/home/hadoop/redis-3.0.0 export PATH=$JAVA_HOME/bin:$PYTHON_HOME/python:$REDIS_HOME/src:$FLUME_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$SPARK_HOME/bin:$HBASE_HOME/bin:$ZOOK_HOME/bin:$HIVE_HOME/bin:$CATALINA_HOME/bin:$NUTCH_HOME/runtime/local/bin:$MAHOUT_HOME/bin:$PATH export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HIVE_HOME/lib:$MAHOUT_HOME/lib |
当然里面还有其他配置,这个我们以后再说,都是可以自己手动改变调整的。
接下来就是修改hadoop目录下的etc/hadoop下几个关键的配置文件了,如下:
vi core-site.xml
vi hdfs-site.xml
vi mapred-site.xml
vi yarn-site.xml
vi salves
|