![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
这些是大数据入门要会的。大数据知识堪称“杂碎“。
Dennis985
这个作者很懒,什么都没留下…
展开
-
HDFS目录数及大小设置
HDFS目录数及大小设置前言由于时间紧急,本人稍微调研了下,HDFS配置中是有目录文件夹数量限额的,但没有存储空间资源限额。需求1.需要在集群管理上开发项目使用的HDFS目录下的文件数量限额。比如一个HDFS目录下最多运行10个文件。2.需要在集群管理上开发项目使用的存储资源限额。比如:一个目录不能超过100G。调研针对这两个小需求,去官网找了下hdfs-site.xml的所有属性配置。得到的结论是:可以设置HDFS目录下文件数量,但不能设置文件的存储大小。<!--这个属性是设置HD原创 2022-04-28 11:56:45 · 3023 阅读 · 2 评论 -
HDFS透明加密
HDFS透明加密配置集群key.provider.uridfs.encryption.key.provider.uri#The KeyProvider to use when interacting with encryption keys used when reading and writing to an encryption zone.#当往加密空间读写时需要使用它来做交互。配置加密算法和编解码hadoop.security.crypto.codec.classes.EXAMPLECI原创 2022-04-28 11:57:24 · 477 阅读 · 0 评论 -
大数据常用默认端口汇总(最新最全)
大数据常用默认端口汇总对于外行来说,大数据听起来高大上,但是对于行内人,大数据的特点概括起来就2个字:杂 , 碎. 而且技术更新快,需要我们时刻保持对技术的热情,也需要开发者经常总结.如此才能不被时代所淘汰.如下是大数据常用软件的端口汇总和简要概述.仅供参考.注意:如下访问路径,如无特殊说明,默认都是http://开头.| 应用 | 端口 | 路径(示例) || :----------原创 2020-09-09 13:38:35 · 1843 阅读 · 0 评论