hadoop、spark配置使用所遇到的问题

1 配置Hadoop

1.1 节点、主机ip信息

hostname	ip地址	备注
ss-ubuntu	192.168.1.101	namenode
yhc-VirtualBox	192.168.1.102	datanode
node1	192.168.1.103	datanode,secondary namenode
node2	192.168.1.104	datanode
node3	192.168.1.105	datanode

将这些信息放入 /etc/hosts中，将master节点的ssh公钥id_rsa.pub通过scp发给各个slave，将这个id_rsa.pub写入slave中的~/.ssh/authorized_keys中，这个公钥也得写入master自己的authorized_keys中，因为hadoop使用ssh连接所有节点，这样就实现了免密登录

1.2 配置文件

hdfs-site.xml

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>3</value>
  </property>
  <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>node1:50090</value>  这个是第二个命名节点的http端口设置，node1会用过hosts文件来解析为IP地址
  </property>
  <property>
      <name>dfs.namenode.name.dir</name>  namenode的文件结构和命名储存位置
      <