HDFS编程实践

Hadoop的安装

厦门大学大数据
条件有限，这边使用的是单机伪分布式，安装的教程大家可以参考上面的链接

HDFS的基本操作

首先讲一下基本命令，这边是分布式文件系统，其实很多shell的操作都是适用的。在使用hdfs之前我们需要先启动一下hadoop，这边我们使用以下命令

这样写还是太长了
我们可以把这些命令都添加到bash里面，只要在path里面添加hadoop的bin和sbin就可以可以直接使用start-dfs命令了，bashrc文件里面的内容如下图，大家自行添加。

备注： Hadoop中有三种Shell命令方式：
hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs只能适用于HDFS文件系统
hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

下面我们要创建我们的hdfs目录啦

./bin/hdfs dfs -mkdir -p /user/hadoop

当然我们添加了path之后就可以直接使用

hdfs dfs -mkdir -p /user/hadoop

我们可以使用浏览器去查看我们创建的文件夹

注意多次格式化namenode会导致节点版本不一致，无法加载datanode，解决方法如下

基本的shell命令

厦大博客

idea下hadoop java api的调用

这边我遇到蛮多坑，所以我决定单独来写一篇博客来描述一下
idea下的第一个hadoop程序