首先说明下学习过程中所用到的系统及软件的版本:
ubuntu16.04
jkd1.8.0_131
hadoop2.7.3
hbase1.2.5
如果在ubuntu14.04上配置hadoop不顺利的话,建议换ubuntu16.04版本。。。
配置java环境及安装eclipse,网上有许多攻略,可以参考http://www.linuxidc.com/Linux/2016-07/133482.htm
配置hadoop环境时参考http://www.powerxing.com/install-hadoop/
使用eclipse编译运行mapreduce程序时参考http://www.powerxing.com/hadoop-build-project-using-eclipse/
配置hbase时参考http://blog.csdn.net/napoay/article/details/54136398
http://blog.csdn.net/flyfish111222/article/details/51893096
-------------------------------------------------------------------------------------------------------------------------------------------------
学习了几天大数据,遇到以下几个小问题,今天得空整理一下
1. hbase shell环境进入及退出
终端用cd命令找到hbase目录,如:cd BigData/hbase
再输入bin/hbase shell,敲enter进入hbase shell。
结果如下:
退出shell时输入exit:
2. eclipse运行第一个hadoop程序时遇到ConnectException
INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
Exception in thread "main" java.net.ConnectException: Call From。。。 to localhost:9000 failed on connection exception:
java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
这是因为没有启动dfs
终端进入hadoop目录下,运行指令 sbin/start-dfs.sh
返回eclipse,右键MapReduce Location选择Reconnect
重新运行程序即可
3. 提示输出文件已存在
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory hdfs://localhost:9000/user/ljp/output2 already exists
当时竟然蠢到去百度这个位置在哪。。。
右键delete就可以。。。除非里面有重要东西。。。暂时不知道如何将多个结果写入存在的文件夹下。。。因为菜。。。