
hdfs
旭cooler
这个作者很懒,什么都没留下…
-
原创 用java客户端实现hdfs的简要功能
首先是将hadoop中的相关jar包导入到java运行环境中首先进入配置构建路径选择库,点击添加库选择用户库这里由于我已经添加了,,无法再次添加,就不做演示大体要添加进去的jar包是/hadoop/share/hadoop/hdfs中的和/hadoop/share/hadoop/common中的添加完以上的jar包之后,就可以开始代码的编写了前戏,解读:@Test方法用...2019-04-25 08:24:5873
0
-
原创 阿里云无法下载hdfs中的文件
首先,/etc/hosts的那个文件,第一行的127.0.0.1一定要注释掉,然后下面配置的是阿里云的内网ip其次就是检查控制台中的防火墙是否添加了相关的端口规则然后,core-site.xml中,针对fs.defaultFS的值修改为<property> <name>fs.defaultFS</name> <value>hdfs://0....2019-04-25 08:28:27364
0
-
原创 通过java代码上传文件到hdfs时,hdfs文件系统上的文件大小为o
原因:文件夹和文件名都是存放在 NameNode 上的,本地可以通过公网访问 NameNode,所以创建文件夹和文件都可以,但是当写数据的时候,NameNode 和DataNode 是通过内网通信的,NameNode 会返回给 DataNode 的内网 IP,本地就访问不了了。所以在java代码中需要添加一句conf.set("dfs.client.use.datanode.hostname...2019-04-25 08:30:09914
0