学hadoop需要学java吗_Hadoop配置学习

连接xftp需要设置C:\Windows\System32\drivers\etc 加入虚拟机ip地址主机名

1.准备相关jar包

2.查询现有系统中自带的open jdk

rpm -qa | grep java

--如果有请卸载，nodeps表示强制无依赖

rpm -e --nodeps

3./opt该目录是可选的软件包安装目录，有些软件包我们可以将它安装在该目录中，只有root用户才有权限访问，自己新建opt目录或使用以下命令：

sudo chmod 777 /opt

4.source /etc/profile:重新读取修改的配置profile文件

5.tar zxcf ...

6.配置文件信息

hadoop-evn.sh

mapred-env.sh

yarn-evn.sh

core-site.xml:

hdfs-site.xml:

host

slaves:可不用修改，必须关闭防火墙

hadoop无法访问50070端口解决方法：

hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException):

查阅资料发现造成这个问题的原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致，解决方案：

1、停止集群(切换到/sbin目录下)

$./stop-all.sh

2、删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件件)下面的所有数据;

$ rm -rf /home/hadoop/hdpdata/*

3、重新格式化namenode(切换到hadoop目录下的bin目录下)

$ ./hadoop namenode -format

4、重新启动hadoop集群(切换到hadoop目录下的sbin目录下)

$./start-all.sh

Hadoop伪分布式环境搭建相关配置文件：

课程：分布式集群、PB级别网站性能优化