Intellij idea下hadoop的开发环境搭建和相应的编程实践(HDFS)

本文介绍了如何在Intellij IDEA中搭建Hadoop开发环境,包括单机伪分布式Hadoop的配置,详细讲解了所需导入的jar包,并通过编写首个HDFS程序,解决启动时缺少core-site.xml和hdfs-site.xml的问题。
摘要由CSDN通过智能技术生成

开篇

先简单描述一下这边博客主要要讲的内容,首先是配置idea可以编写hadoop的程序,然后是一个操作hdfs的小程序演示。

Hadoop的搭建

一直跟随的是厦门大学林老师的课程,这边是hadoop的搭建教程的链接,我是用自己的机子搭建的单机伪分布式。所以下面的一些操作都是适用于单机伪分布式的。

idea开发环境的搭建

这边需要我们做的是两件事,导入jar包,林老师的教程就让我导入了两个common下面的jar,我写完代码,半天执行不出结果,这边讲一下idea下面怎么导入jar包。
如下图所示:

建议大家导入的jar包有下面几个
(1)”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar;
(2)/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包;
(3)“/usr/local/hadoop/share/hadoop/hdfs

评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值