HDFS
天心有情
这个作者很懒,什么都没留下…
展开
-
DataNode数据块丢失问题查找
HDFS数据块丢失问题文章目录HDFS数据块丢失问题问题发现问题定位找到原因新的问题的产生向前一小步查看影响问题发现正在跑Spark任务的时候,代码提交上去了,代码提交之后肯定是要通过yarn上传到HDFS上面,然后各个节点就可以看到jar包了。但是这个时候突然间报错NameNode进入了安全模式。【注:进入安全模式之后你就只能查看hdfs上面的内容,不能创建。因此上传jar包失败】。于是...原创 2019-12-06 11:54:23 · 1340 阅读 · 0 评论 -
HDFS Java代码进行增删改查
提醒:如果要在idear或者eclipse等IDE下运行就必须在HDFS上给你所使用的目录分配权限给windows下的用户,为了方便起见建议给所有权限777创建目录命令hdfs dfs -mkdir myproject分配权限命令hdfs dfs -chmod 777 myprojectHDFS增删改查工具类package hdfs;import org.apach原创 2017-08-08 11:10:48 · 575 阅读 · 0 评论 -
FileSystem类的方法使用
由于经常使用FileSystem这个类,但是对这个类的API不是很熟悉导致了一些不必要的麻烦,所以本人翻译了一下这个类。所属的包: org.apache.hadoop.fs FileSystem –>通用文件系统的抽象基类,可以作为一个分布式文件系统的实现,也可以作为连接本地磁盘的文件系统 本地版存在于小型的hadoop实例和测试中。 所有可能用到分布式文件系统的用户代码都因该使用File原创 2017-09-05 15:53:00 · 11145 阅读 · 2 评论 -
从两个HDFS集群之间拷贝数据命令
从两个HDFS集群之间拷贝数据命令1 distcp命令命令如下:hadoop distcp hdfs://a01:8020/lime/ hdfs://nameservice/该命令在需要数据的集群上面进行执行,执行过程需要跑MR程序。有的时候我在其他节点上需要数据,同时我需要的是把数据从hdfs上面下载下来,以前我的方式是通过 distcp拷贝其他集群的数据.。 然后去本地集群上通过...原创 2019-08-22 14:46:27 · 5237 阅读 · 0 评论