Hadoop
文章平均质量分 92
东飞儿
这个作者很懒,什么都没留下…
展开
-
Block Token
Block TokenBlock Token解决的问题Hadoop 安全需要解决的两个问题:认证:解决用户身份合法性验证问题授权:解决认证用户的操作范围问题认证问题通过Kerberos得到很好的解决,而且Hadoop内部设计了一套Token机制完美实现安全认证问题,同时在性能上得到保证虽然解决了认证问题,但是存在安全隐患,尤其在DataNode端,比如客户端只要获取数据块信息之后就可以直接访问DataNode,对Block进行随意读写甚至是删除操作。换句话说,如果通过特殊方法获取集群的所有数据原创 2021-05-20 19:57:57 · 300 阅读 · 0 评论 -
Delegation Token
Delegation Token为什么要用delegation tokenDelegation Token 生命周期NameNode中Delegation Token的实现Hadoop最初的实现中并没有认证机制,这意味着存储在Hadoop中的数据很容易泄露。在2010年,安全特性被加入Hadoop(HADOOP-4487),主要实现下面两个目标:拒绝未授权的操作访问HDFS中的数据。在实现1的基础上,避免太大的性能损耗。为了实现第一个目标,我们需要保证:任何一个客户端要访问集群必须要经过认证,以原创 2021-05-20 19:27:00 · 631 阅读 · 0 评论 -
Hbase部署与使用
Hbase部署与使用环境准备配置信息修改测试方法与流程测试场景进入Hbase终端列举命名空间使用create命令创建表使用list列举表环境准备下载安装包下载路径:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/此文档编辑使用hbase-2.2.4-bin.tar.gz配置信息修改修改/etc/c/profile注:配置文件修改完成之后执行 source /etc/profile进行刷新修改hbase-env.sh修改hbase原创 2020-06-25 11:15:26 · 190 阅读 · 0 评论 -
Hadoop集群配置
hadoop部署安装环境准备安装包下载节点环境配置配置信息修改启动Hadoop集群启动中遇到的问题环境准备安装包下载下载Hadoop集群包(下载路径:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/core/)此文档编辑使用hadoop-3.1.3.tar.gz节点环境配置注:以下配置需要在Hadoop的每一个节点进行配置节点名配置修改/etc/profile注:修改之后需要刷新配置文件 source /etc/profile修原创 2020-06-25 10:47:06 · 170 阅读 · 0 评论