学习大数据过程中遇到的问题1

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/a76847784/article/details/71078231

首先说明下学习过程中所用到的系统及软件的版本:

ubuntu16.04

jkd1.8.0_131

hadoop2.7.3

hbase1.2.5

如果在ubuntu14.04上配置hadoop不顺利的话,建议换ubuntu16.04版本。。。

配置java环境及安装eclipse,网上有许多攻略,可以参考http://www.linuxidc.com/Linux/2016-07/133482.htm

配置hadoop环境时参考http://www.powerxing.com/install-hadoop/

使用eclipse编译运行mapreduce程序时参考http://www.powerxing.com/hadoop-build-project-using-eclipse/

配置hbase时参考http://blog.csdn.net/napoay/article/details/54136398

http://blog.csdn.net/flyfish111222/article/details/51893096

-------------------------------------------------------------------------------------------------------------------------------------------------

学习了几天大数据,遇到以下几个小问题,今天得空整理一下

1. hbase shell环境进入及退出

终端用cd命令找到hbase目录,如:cd BigData/hbase

再输入bin/hbase shell,敲enter进入hbase shell。

结果如下:

退出shell时输入exit:


2. eclipse运行第一个hadoop程序时遇到ConnectException

INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

Exception in thread "main" java.net.ConnectException: Call From。。。 to localhost:9000 failed on connection exception:

java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

这是因为没有启动dfs

终端进入hadoop目录下,运行指令 sbin/start-dfs.sh

返回eclipse,右键MapReduce Location选择Reconnect

重新运行程序即可

3. 提示输出文件已存在

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:

Output directory hdfs://localhost:9000/user/ljp/output2 already exists

当时竟然蠢到去百度这个位置在哪。。。

右键delete就可以。。。除非里面有重要东西。。。暂时不知道如何将多个结果写入存在的文件夹下。。。因为菜。。。

展开阅读全文

没有更多推荐了,返回首页