大数据学习中遇到的美丽意外

4.12.1   

  Q：使用start-dfs.sh启动hadoop，namenode成功的节点，启动失败datanode

The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is 25:3d:28:ef:b4:2e:a0:75:0a:45:64:b3:16:a0:d4:da.

  A：配置文件slaves中多配置了localhost。

4.12.2

  Q：SecondaryNameNode启动失败

  A：其他节点配置文件hdfs.site.xml中的配置错误。

8.12.1

 Q： Linux上运行mapreduce，hadoop jar example-mr-1.0.jar 报错

Exception in thread "main" java.io.IOException: Error opening job jar: example-mr-1.0.jar

 A：压缩包损坏，原因是安装了lrzsz后直接拖拽到了linux中，使用SecureFX上传后解决

8.12.2

Q：Eclipse中远程调试hadoop，报错 Exception in thread "main" ExitCodeException exitCode=-1073741515:

A：安装 vc_redist.x64.exe，成功后重启eclipse即可。

8.12.3

Q：执行FlowSumSort的main方法，报错java.lang.Exception: java.lang.NumberFormatException: For input string: "00-FD-07-A4-72-B8:CMCC"

A：待处理数据的格式不正确，1.检查待处理的数据格式，  2.检查自定义mapper的代码

9.12.1

Q： 使用tar zxvf 解压安装包报错

gzip: stdin: unexpected end of file

tar: Unexpected EOF in archive

tar: Unexpected EOF in archive

tar: Error is not recoverable: exiting now

A：压缩包损坏，原因是安装了lrzsz后直接拖拽到了linux中，使用SecureFX上传后解决

10.3.24

Q：运行hbase shell时报错：

hbase(main):001:0> list

ERROR: Can't get master address from ZooKeeper; znode data == null

A：（1）解决：在hbase-site.xml指定一个运行hbase的用户有写入文件权限的目录作为zookeeper数据目录，如

  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/user88/zk_data</value>
  </property>

（2）Hbase的hbase-site.xml文件中的

<property>  
<name>hbase.rootdir</name>   
<value>hdfs://node01:9000/hbase</value>  
</property>

要与hadoop的core-site.xml中fs.defaultFS中的路径相同

<property>
      <name>fs.defaultFS</name>
      <value>hdfs://node01:9000</value>
  </property>