![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
JavaGod
本人是Java技术的忠实粉丝,Hadoop生态圈技术爱好者,希望热爱技术的有志之士进行交流互动。
展开
-
HDFS 副本存放磁盘选择策略
在 HDFS 中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中,一般都会配置多个目录,并且把这些目录分别配置到不同的设备上,比如分别配置到不同的HDD(HDD的全称是Hard Disk Drive)和SSD(全称Solid State Drives,就是我们熟悉的...原创 2019-01-25 14:41:51 · 222 阅读 · 0 评论 -
三种恢复 HDFS 上删除文件的方法
通过垃圾箱恢复HDFS 为我们提供了垃圾箱的功能,也就是当我们执行 hadoop fs -rmr xxx 命令之后,文件并不是马上被删除,而是会被移动到执行这个操作用户的 .Trash 目录下,等到一定的时间后才会执行真正的删除操作。看下下面的例子: $ sudo -uiteblog hadoop fs -rmr /user/iteblog/test.txt Moved: '...原创 2019-01-25 14:45:34 · 304 阅读 · 0 评论 -
开源大数据处理工具汇总
查询引擎一、Phoenix贡献者::Salesforce简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、...原创 2019-01-28 10:44:00 · 652 阅读 · 0 评论