Hadoop 安装使用遇到的问题

1 ssh-host-config

 错误: There are still ssh processes running. Please shut them down first.
 解决: ps -ef | grep -v grep | grep ssh          kill -9 xxx

 

2 ssh localhost

 错误:connection closed by 127.0.0.1

 解决: (1) mkpasswd -l -c > /etc/passwd

          (2) mkgroup -l -d > /etc/group

          (3) 再重新进入Cygwin,mkpasswd和mkgroup提示消失,再次配置ssh,并执行ssh localhost

          ==> http://bbs.hadoopor.com/thread-348-1-1.html

3 JAVA_HOME

   export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdkxxx,由于Cygwin无法识别“Program Files”中间的空格,如果不按照上述设置,则系统无法找到Jdk安装目录。
   当然,你也可以在Cygwin的/usr/local目录下添加一个连接,从而方便配置JAVA_HOME。例如:
   ln -s /cygdrive/c/Program\ Files/Java/jdkxxx /usr/local/jdkxxx
   export JAVA_HOME=/usr/local/jdkxxx最好写到bash_profile下)


转载于:https://my.oschina.net/xshuai/blog/365126

Hadoop是一个用于分布式存储和处理大规模数据的开源软件框架。下面是关于Hadoop安装使用和收获的一些建议和信息: 1. 安装Hadoop:在安装Hadoop之前,确保你的系统满足Hadoop的要求,比如Java环境和网络连接。然后,下载合适版本的Hadoop并按照官方文档提供的步骤进行安装和配置。 2. 配置Hadoop集群:在配置Hadoop集群之前,你需要了解Hadoop的基本组件和配置文件。主要包括核心组件(HDFS和YARN)以及相关的配置文件(如hdfs-site.xml和yarn-site.xml)。根据你的需求,调整这些配置文件以实现最佳性能。 3. 使用Hadoop:一旦你安装和配置好了Hadoop,你就可以开始使用它来处理大规模数据了。Hadoop提供了多种方式来处理数据,包括MapReduce编程模型、Hive和Pig等高级数据处理工具,还有Spark等基于Hadoop的框架。 4. 收获与问题解决:通过使用Hadoop,你可以处理大规模数据并从中获得一些收获。这些收获可能包括更好的数据分析、更准确的预测或更高效的资源利用。在使用Hadoop的过程中,你可能会遇到一些问题,比如性能调优、故障排除等。要善于使用Hadoop社区和相关文档来解决这些问题。 总之,安装使用Hadoop需要一定的技术知识和经验,但它可以为你提供处理大数据的强大能力和灵活性。希望以上信息对你有帮助!如果你还有其他问题,请随时问我。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值