
hadoop
Alecor
不要被对象、属性、方法所迷惑,最根本的是了解最基础的知识。
展开
-
Kerberos安全认证过程
1 KerberosKerberos是诞生于上个世纪90年代的计算机认证协议,被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。2 Kerberos可以用来做什么简单地说,Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景,在一个网络中有不同的服务器,比如,打印服务器、邮件服务器和文件服务器。这些服务器都有认证的需求。很自然的,不可能让每个服务器自己实现一套认证系统,而是提供一个中心认证服务器(AS-原创 2020-08-04 13:35:20 · 1033 阅读 · 0 评论 -
Hadoop: 主节点9000端口拒绝访问Call From *** to hadoop1:9000 failed on connection exception
今天在使用Java联调试hdfs的时候,参数都对了,但是就是连接不上hadoop,后面找到原因了。是自己的hadoop配置文件错误, 在配置hadoop:core-site.xml 文件时,主要 hdfs地址要写成服务器的IP地址,不要写成localhost获取127.0.0.0以下是我的部分代码 public static FileSystem getFileSystem(Map<String, Object> params, String userName) throws Exc原创 2020-07-29 17:40:19 · 6521 阅读 · 1 评论 -
Hadoop认证Kerberos--UserGroupInformation.doAs
如果你只是单纯地使用 Hadoop 的 MapReduce, 也许压根就不需要了解还有个 UserGroupInformation.当你需要在 Yarn 上做些其它工作时,就必须与 UserGroupInformation 打交道。UserGroupInformation保存hadoop用户及组信息此类包装JAAS Subject,并提供确定用户的用户名和组的方法。它支持Windows,Unix和Kerberos登录模块。常用代码String userCode="user1";String ke转载 2020-07-29 13:50:37 · 3113 阅读 · 0 评论