大数据专栏 | ||
---|---|---|
上一篇 | 主目录 | 下一篇 |
【前言】
Intellij IDEA连接Hadoop HDFS实现本地调试
1 在IDEA中安装Hadoop插件
插件下载地址
CSDN
GitHub
安装插件
重启IDEA,菜单栏新增Hadoop
菜单栏Hadoop–设置,填写连接参数
连接成功
每次更改文件,可能都需要以用户登录权限,比较麻烦。这个可以配置,在hdfs-site.xml来配置
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
2 操作虚拟机hdfs集群
2.1 创建Maven项目
代码结构如下:
2.2 pom.xml添加依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"