Hadoop-在linux的伪分布式集群、启动

伪分布式：

tar -zxvf hadoop-2.9.2.tar.gz

hadoop-env.sh

修改/opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh指定JAVA_HOME

bin目录下 ./hadoop version 查看hadoop版本

修改/opt/hadoop-2.9.2/etc/hadoop/core-site.xml

<configuration>
	<!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop0:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/hadoop-2.9.2/data/</value>
    </property>
</configuration>

hdfs-site.xml

修改/opt/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

<configuration>
	<!--hdfs副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

mapred-site.xml

修改/opt/hadoop-2.9.2/etc/hadoop/mapred-site.xml

<configuration>
    <!-- mapreduce框架使用什么-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

</configuration>

yarn-site.xml

修改/opt/hadoop-2.9.2/etc/hadoop/yarn-site.xml

<configuration>
<!-- yarn.resourcemanager节点 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop0</value>
	</property>
<!-- hadoop进行mapreduce的方法 mapreduce_shuffle-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

</configuration>

第一次启动得先格式化

/opt/hadoop-2.9.2/bin/hadoop namenode -format

启动hdfs

/opt/hadoop-2.9.2/sbin/start-dfs.sh

start-yarn.sh

jps命令测试

停止hdfs

/opt/hadoop-2.9.2/sbin/stop-dfs.sh

预览 http://xx.xx.xx.xx:50070

centos7.x

#关闭防火墙
systemctl stop firewalld.service
#关闭防火墙，并设置为开机不自启
systemctl disable firewalld.service
#查防火墙是否开机自启
systemctl list-unit-files |grep fire

1、HDFS页面：50070

2、YARN的管理界面：8088

3、HistoryServer的管理界面：19888

4、Zookeeper的服务端口号：2181

5、Mysql的服务端口号：3306

6、Hive.server1=10000

7、Kafka的服务端口号：9092

8、azkaban界面：8443

9、Hbase界面：16010,60010

10、Spark的界面：8080

11、Spark的URL：7077

启动出现Permission denied (publickey,password)问题

前账号没有配置ssh免密登录
ssh-keygen -t rsa，然后一路回车
。/ssh目录下创建authorized_keys文件
cd .ssh
touch authorized_keys
将公钥追加到authorized_keys文件中去
cat id_rsa.pub >> authorized_keys

 

完全分布式部署：https://www.cnblogs.com/linyufeng/p/10831240.html