世界之大

一、java环境安装配置 /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_11export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar二、SSH安装一般Linux系统都有，此处省略三、安装hadoop官方网站下载：...

YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。hdfs的使用和管理创建一个words.txt...

1.从hdfs中读取一个文件val path = "hdfs://master:9000/examples/examples/src/main/resources/people.txt"  val rdd1 = sc.textFile(path,2)  从HDFS中读取文件的形式和本地上一样，只是前面的路径要表明是HDFS中的2.查看hdfs上的文件：hdfs dfs -ls /xj65003.在...

大多数原因是没有配置环境变量解决方法 1. vim /etc/profile 2. 把这三条加到proflie文件的最后export JAVA_HOME=XXXX(在安装了jdk的前提下，echo $JAVA_HOME可以查看得到)export HADOOP_HOME=XXX（hadoop的安装路径）export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PA...

问题描述：启动hadoop时有三个节点：namenode、datanode和secondarynamenode，结果只有两个启动了，而namenode节点报找不到的错误。输入了jps发现：[root@lmy-pc hadoop]# jps3819 SecondaryNameNode4058 Jps3667 DataNode进入日志logs文件夹中，发现只有datanode和secondearyna...

问题描述:由于发现之前在配置hadoop时，忘了配置hosts文件的主机名，导致找不到namenode。之后配置后又出现如下错误：Call From lmy-pc/192.168.18.129 to lmy-pc:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more ...