hadoop 3.X 分布式HA集成Kerbos(保姆级教程）

已于 2024-06-30 01:01:57 修改
阅读量1.1k 收藏 11
点赞数 19
分类专栏： hadoop Zookeeper 文章标签： hadoop 大数据 分布式
于 2024-06-30 00:41:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guofei_ok/article/details/140000834
版权

前提：先安装Kerbos

1、创建keytab目录

在每台机器上上提前创建好对应的kertab目录

[hadoop@tv3-hadoop-01 ~]$ sudo mkdir -p /BigData/run/hadoop/keytab/

[hadoop@tv3-hadoop-01 ~]$ sudo mkdir -p /opt/security/

[hadoop@tv3-hadoop-01 ~]$ sudo chown hadoop:hadoop /BigData/run/hadoop/keytab/

[hadoop@tv3-hadoop-01 ~]$ ls -lrt /BigData/run/hadoop/

drwxr-xr-x 2 hadoop hadoop  4096 Jun 26 23:22 keytab

2、创建kerbos证书

进入管理机器，比如tv3-hadoop-01【本例中hadoop服务启动统一使用hadoop用户】

# 进入kadmin

[root@tv3-hadoop-01 ~]# kadmin.local

Authenticating as principal hadoop/admin@EXAMPLE.COM with password.

kadmin.local:  

# 查看用户

kadmin.local:  listprincs

# 创建用户

addprinc -randkey hadoop/tv3-hadoop-01@EXAMPLE.COM

3、证书添加

依次增加其他hdfs节点的验证，并导出到/BigData/run/hadoop/keytab/hadoop.keytab这个文件：

addprinc -randkey hadoop/tv3-hadoop-01@EXAMPLE.COM
addprinc -randkey hadoop/tv3-hadoop-02@EXAMPLE.COM
addprinc -randkey hadoop/tv3-hadoop-03@EXAMPLE.COM
addprinc -randkey hadoop/tv3-hadoop-04@EXAMPLE.COM
addprinc -randkey hadoop/tv3-hadoop-05@EXAMPLE.COM
addprinc -randkey hadoop/tv3-hadoop-06@EXAMPLE.COM

addprinc -randkey HTTP/tv3-hadoop-01@EXAMPLE.COM
addprinc -randkey HTTP/tv3-hadoop-02@EXAMPLE.COM
addprinc -randkey HTTP/tv3-hadoop-03@EXAMPLE.COM
addprinc -randkey HTTP/tv3-hadoop-04@EXAMPLE.COM
addprinc -randkey HTTP/tv3-hadoop-05@EXAMPLE.COM
addprinc -randkey HTTP/tv3-hadoop-06@EXAMPLE.COM

ktadd -k /BigData/run/hadoop/keytab/hadoop.keytab hadoop/tv3-hadoop-01@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/hadoop.keytab hadoop/tv3-hadoop-02@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/hadoop.keytab hadoop/tv3-hadoop-03@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/hadoop.keytab hadoop/tv3-hadoop-04@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/hadoop.keytab hadoop/tv3-hadoop-05@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/hadoop.keytab hadoop/tv3-hadoop-06@EXAMPLE.COM

ktadd -k /BigData/run/hadoop/keytab/HTTP.keytab HTTP/tv3-hadoop-01@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/HTTP.keytab HTTP/tv3-hadoop-02@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/HTTP.keytab HTTP/tv3-hadoop-03@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/HTTP.keytab HTTP/tv3-hadoop-04@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/HTTP.keytab HTTP/tv3-hadoop-05@EXAMPLE.COM
ktadd -k /BigData/run/hadoop/keytab/HTTP.keytab HTTP/tv3-hadoop-06@EXAMPLE.COM

4、权限修改&kertab同步

修改权限到hadoop启动用户，否则会有权限访问问题,并同步到其他hdfs所有服务的节点上（JN，DN，NN，RM，NM）

su  - hadoop

sudo chown hadoop:hadoop /BigData/run/hadoop/keytab/*.keytab

scp /BigData/run/hadoop/keytab/hadoop.keytab  /BigData/run/hadoop/keytab/HTTP.keytab hadoop@tv3-hadoop-06:/BigData/run/hadoop/keytab

5、修改配置文件

5.1 hdfs-site.xml

    <property>
        <name>dfs.block.access.token.enable</name>
        <value>true</value>
        <description>Enable HDFS block access tokens for secure operations</description>
    </property>

    <property>
        <name>dfs.namenode.kerberos.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
        <description>namenode对应的kerberos账户为 nn/主机名@EXAMPLE.CPOM   _HOST会自动转换为主机名</description>
    </property>

    <property>
        <name>dfs.namenode.keytab.file</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
        <description>因为使用-randkey 创建的用户 密码随机不知道，所以需要用免密登录的keytab文件 指定namenode需要用的keytab文件在哪里</description>
    </property>

    <property>
        <name>dfs.namenode.kerberos.internal.spnego.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
        <description>https 相关（如开启namenodeUI）使用的账户</description>
    </property>

    <property>
        <name>dfs.namenode.kerberos.internal.spnego.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>

   <property>
        <name>dfs.secondary.namenode.kerberos.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
        <description>secondarynamenode使用的账户</description>
    </property>
    <property>
        <name>dfs.secondary.namenode.keytab.file</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
        <description>sn对应的keytab文件</description>
    </property>

    <property>
        <name>dfs.secondary.namenode.kerberos.internal.spnego.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
        <description>sn需要开启http页面用到的账户</description>
    </property>
     <property>
        <name>dfs.secondary.namenode.kerberos.internal.spnego.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>

    <property>
        <name>dfs.journalnode.kerberos.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
    </property>

    <property>
        <name>dfs.journalnode.keytab.file</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
    </property>

    <property>
        <name>dfs.journalnode.kerberos.internal.spnego.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
    </property>
       <property>
        <name>dfs.journalnode.kerberos.internal.spnego.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>

    <property>
        <name>dfs.encrypt.data.transfer</name>
        <value>true</value>
        <description>数据传输协议激活数据加密</description>
    </property>
    <property>
        <name>dfs.datanode.kerberos.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
        <description>datanode用到的账户</description>
    </property>
    <property>
        <name>dfs.datanode.keytab.file</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
        <description>datanode用到的keytab文件路径</description>
    </property>

    <property>
        <name>dfs.data.transfer.protection</name>
        <value>integrity</value>
    </property>

    <property>
        <name>dfs.https.port</name>
        <value>50470</value>
    </property>

    <!-- required if hdfs support https -->
    <property>
        <name>dfs.http.policy</name>
        <value>HTTPS_ONLY</value>
    </property>

    <!-- WebHDFS security config -->
    <property>
        <name>dfs.web.authentication.kerberos.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
        <description>web hdfs 使用的账户</description>
    </property>
    <property>
        <name>dfs.web.authentication.kerberos.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
        <description>对应的keytab文件</description>
     </property>

5.2 core-site.xml

    <property>
        <name>dfs.block.access.token.enable</name>
        <value>true</value>
        <description>Enable HDFS block access tokens for secure operations</description>
    </property>

    <property>
        <name>hadoop.security.authorization</name>
        <value>true</value>
        <description>是否开启hadoop的安全认证</description>
    </property>
    
    <property>
        <name>hadoop.security.authentication</name>
        <value>kerberos</value>
        <description>使用kerberos作为hadoop的安全认证方案</description>
    </property>
    <property>
        <name>hadoop.rpc.protection</name>
        <value>authentication</value>
        <description>authentication : authentication only (default); integrity : integrity check in addition to authentication; privacy : data encryption in addition to integrity</description>
    </property>
    <property>
        <name>hadoop.security.auth_to_local</name>
        <value>
            RULE:[2:$1@$0](hadoop@.*EXAMPLE.COM)s/.*/hadoop/
            RULE:[2:$1@$0](HTTP@.*EXAMPLE.COM)s/.*/hadoop/
            DEFAULT
        </value>
    </property>

5.3 yarn-site.xml

    <property>
        <name>hadoop.http.authentication.type</name>
        <value>kerberos</value>
    </property>

    <property>
        <name>hadoop.http.filter.initializers</name>
        <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.delegation-token-auth-filter.enabled</name>
        <value>false</value>
        <description>标记以启用使用RM身份验证筛选器覆盖默认kerberos身份验证筛选器以允许使用委派令牌进行身份验证（如果缺少令牌，则回退到kerberos）。仅适用于http身份验证类型为kerberos的情况。</description>
    </property>

    <property>
        <name>hadoop.http.authentication.kerberos.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
    </property>

    <property>
        <name>hadoop.http.authentication.kerberos.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>

    <property>
        <name>yarn.acl.enable</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.web-proxy.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
    </property>
 
    <property>
        <name>yarn.web-proxy.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>
 
    <property>
        <name>yarn.resourcemanager.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
    </property>
 
    <property>
        <name>yarn.resourcemanager.keytab</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
    </property>
 
    <!-- nodemanager -->
    <property>
        <name>yarn.nodemanager.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
    </property>
    <property>
        <name>yarn.nodemanager.keytab</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
    </property>
    <property>
        <name>yarn.nodemanager.container-executor.class</name>
     
 <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>
 
    <property>
        <name>yarn.nodemanager.linux-container-executor.group</name>
        <value>hadoop</value>
    </property>

    <property>
        <name>yarn.nodemanager.linux-container-executor.path</name>
        <value>/BigData/run/hadoop/bin/container-executor</value>
    </property>

  <!-- webapp webapp configs -->
    <property>
        <name>yarn.resourcemanager.webapp.spnego-principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.spnego-keytab-file</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>

    <property>
        <name>yarn.timeline-service.http-authentication.type</name>
        <value>kerberos</value>
        <description>Defines authentication used for the timeline server HTTP endpoint. Supported values are: simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME#</description>
 
    </property>
    <property>
        <name>yarn.timeline-service.principal</name>
        <value>hadoop/_HOST@EXAMPLE.COM</value>
    </property>
 
    <property>
        <name>yarn.timeline-service.keytab</name>
        <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
    </property>
 
    <property>
        <name>yarn.timeline-service.http-authentication.kerberos.principal</name>
        <value>HTTP/_HOST@EXAMPLE.COM</value>
    </property>
 
    <property> 
        <name>yarn.timeline-service.http-authentication.kerberos.keytab</name>
        <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
    </property>
 
    <property>
        <name>yarn.nodemanager.container-localizer.java.opts</name>
        <value>-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.krb5.realm=EXAMPLE.COM -Djava.security.krb5.kdc=tv3-hadoop-01:88</value>
    </property>
 
    <property>
        <name>yarn.nodemanager.health-checker.script.opts</name>
        <value>-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.krb5.realm=EXAMPLE.COM -Djava.security.krb5.kdc=tv3-hadoop-01:88</value>
    </property>

    <property>
        <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>yarn.nodemanager.linux-container-executor.group</name>
        <value>hadoop</value>
    </property>

5.4 mapred-site.xml


<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1638M -Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.krb5.realm=EXAMPLE.COM -Djava.security.krb5.kdc=tv3-hadoop-01:88</value>
</property>
 
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3276M -Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.krb5.realm=EXAMPLE.COM -Djava.security.krb5.kdc=tv3-hadoop-01:88</value>
</property>
 
<property>
    <name>mapreduce.jobhistory.keytab</name>
    <value>/BigData/run/hadoop/keytab/hadoop.keytab</value>
</property>
 
<property>
    <name>mapreduce.jobhistory.principal</name>
    <value>hadoop/_HOST@EXAMPLE.COM</value>
</property>
 
<property>
    <name>mapreduce.jobhistory.webapp.spnego-keytab-file</name>
    <value>/BigData/run/hadoop/keytab/HTTP.keytab</value>
</property>
 
<property>
    <name>mapreduce.jobhistory.webapp.spnego-principal</name>
    <value>HTTP/_HOST@EXAMPLE.COM</value>
</property>

5.5 配置文件同步到各个节点

cd /BigData/run/hadoop/etc/hadoop
scp hdfs-site.xml  yarn-site.xml core-site.xml mapred-site.xml hadoop@tv3-hadoop-06:/BigData/run/hadoop/etc/hadoop/

6、配置SSL（开启https）

6.1 创建https证书(需要在每台机器上执行)
 

[hadoop@tv3-hadoop-01 hadoop]# mkdir -p /opt/security/kerberos_https

[hadoop@tv3-hadoop-01 hadoop]# cd /opt/security/kerberos_https

6.2 在任意一个hadoop节点生成CA证书

[root@tv3-hadoop-01 kerberos_https]# openssl req -new -x509 -keyout hdfs_ca_key -out hdfs_ca_cert -days 9999 -subj /C=CN/ST=shanxi/L=xian/O=hlk/OU=hlk/CN=tv3-hadoop01
Generating a 2048 bit RSA private key
...........................................................................................+++
.................................................................................+++
writing new private key to 'hdfs_ca_key'
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
-----
[root@tv3-hadoop-01 kerberos_https]# ls -lrt 
total 8
-rw-r--r-- 1 root root 1834 Jun 29 09:45 hdfs_ca_key
-rw-r--r-- 1 root root 1302 Jun 29 09:45 hdfs_ca_cert

6.3 将上面生成的CA 证书发送到每个节点上


scp -r /opt/security/kerberos_https root@tv3-hadoop-06:/opt/security/

 6.4 在每个hadoop节点上制作证书

cd /opt/security/kerberos_https
   
   # 所有需要输入密码的地方全部输入123456（方便起见，如果你对密码有要求请自行修改）
   
   # 1  输入密码和确认密码：123456，此命令成功后输出keystore文件
   
     name="CN=$HOSTNAME, OU=hlk, O=hlk, L=xian, ST=shanxi, C=CN"
   #需要输入第一步输入的密码四次
     keytool -keystore keystore -alias localhost -validity 9999 -genkey -keyalg RSA -keysize 2048 -dname "$name"
   
   # 2 输入密码和确认密码：123456，提示是否信任证书：输入yes，此命令成功后输出truststore文件
     keytool -keystore truststore -alias CARoot -import -file hdfs_ca_cert
   
   # 3 输入密码和确认密码：123456，此命令成功后输出cert文件
     keytool -certreq -alias localhost -keystore keystore -file cert
   
   # 4 此命令成功后输出cert_signed文件
     openssl x509 -req -CA hdfs_ca_cert -CAkey hdfs_ca_key -in cert -out cert_signed -days 9999 -CAcreateserial
   
   # 5 输入密码和确认密码：123456，是否信任证书，输入yes，此命令成功后更新keystore文件
     keytool -keystore keystore -alias CARoot -import -file hdfs_ca_cert
     keytool -keystore keystore -alias localhost -import -file cert_signed
   
   
 
[root@tv3-hadoop-06 kerberos_https]# ls -lrt
total 28
-rw-r--r-- 1 root root 1302 Jun 29 09:57 hdfs_ca_cert
-rw-r--r-- 1 root root 1834 Jun 29 09:57 hdfs_ca_key
-rw-r--r-- 1 root root  984 Jun 29 10:03 truststore
-rw-r--r-- 1 root root 1085 Jun 29 10:03 cert
-rw-r--r-- 1 root root   17 Jun 29 10:04 hdfs_ca_cert.srl
-rw-r--r-- 1 root root 1188 Jun 29 10:04 cert_signed
-rw-r--r-- 1 root root 4074 Jun 29 10:04 keystore

6.5 修改SSL server文件

在${HADOOP_HOME}/etc/hadoop目录构建ssl-server.xml文件

<configuration>

    <property>
        <name>ssl.server.truststore.location</name>
        <value>/opt/security/kerberos_https/truststore</value>
        <description>Truststore to be used by NN and DN. Must be specified.</description>
    </property>

    <property>
        <name>ssl.server.truststore.password</name>
        <value>123456</value>
        <description>Optional. Default value is "". </description>
    </property>

    <property>
        <name>ssl.server.truststore.type</name>
        <value>jks</value>
        <description>Optional. The keystore file format, default value is "jks".</description>
    </property>

    <property>
        <name>ssl.server.truststore.reload.interval</name>
        <value>10000</value>
        <description>Truststore reload check interval, in milliseconds. Default value is 10000 (10 seconds). </description>
    </property>

    <property>
        <name>ssl.server.keystore.location</name>
        <value>/opt/security/kerberos_https/keystore</value>
        <description>Keystore to be used by NN and DN. Must be specified.</description>
    </property>

    <property>
        <name>ssl.server.keystore.password</name>
        <value>123456</value>
        <description>Must be specified.</description>
    </property>

    <property>
        <name>ssl.server.keystore.keypassword</name>
        <value>123456</value>
        <description>Must be specified.</description>
    </property>

    <property>
        <name>ssl.server.keystore.type</name>
        <value>jks</value>
        <description>Optional. The keystore file format, default value is "jks".</description>
    </property>

    <property>
        <name>ssl.server.exclude.cipher.list</name>
        <value>TLS_ECDHE_RSA_WITH_RC4_128_SHA,SSL_DHE_RSA_EXPORT_WITH_DES40_CBC_SHA,
        SSL_RSA_WITH_DES_CBC_SHA,SSL_DHE_RSA_WITH_DES_CBC_SHA,
        SSL_RSA_EXPORT_WITH_RC4_40_MD5,SSL_RSA_EXPORT_WITH_DES40_CBC_SHA,
        SSL_RSA_WITH_RC4_128_MD5</value>
        <description>Optional. The weak security cipher suites that you want excludedfrom SSL communication.</description>
    </property>
   
</configuration>

6.6 修改SSL-client文件

<configuration>

    <property>
        <name>ssl.client.truststore.location</name>
        <value>/opt/security/kerberos_https/truststore</value>
        <description>Truststore to be used by clients like distcp. Must be specified.  </description>
    </property>

    <property>
        <name>ssl.client.truststore.password</name>
        <value>123456</value>
        <description>Optional. Default value is "". </description>
    </property>

    <property>
        <name>ssl.client.truststore.type</name>
        <value>jks</value>
        <description>Optional. The keystore file format, default value is "jks".</description>
    </property>

    <property>
        <name>ssl.client.truststore.reload.interval</name>
        <value>10000</value>
        <description>Truststore reload check interval, in milliseconds. Default value is 10000 (10 seconds). </description>
    </property>

    <property>
        <name>ssl.client.keystore.location</name>
        <value>/opt/security/kerberos_https/keystore</value>
        <description>Keystore to be used by clients like distcp. Must be   specified.   </description>
    </property>

    <property>
        <name>ssl.client.keystore.password</name>
        <value>123456</value>
        <description>Optional. Default value is "". </description>
    </property>

    <property>
        <name>ssl.client.keystore.keypassword</name>
        <value>123456</value>
        <description>Optional. Default value is "". </description>
    </property>

    <property>
        <name>ssl.client.keystore.type</name>
        <value>jks</value>
        <description>Optional. The keystore file format, default value is "jks". </description>
    </property>
    
</configuration>

6.7 hdfs配置HTTPS（修改后需要同步到每个节点）

  <property>
           <name>dfs.http.policy</name>
           <value>HTTPS_ONLY</value>
           <description>所有开启的web页面均使用https, 细节在ssl server 和client那个配置文件内配置</description>
       </property>

7、启动hadoop基础测试

7.1 HA模式启动顺序

建议依次启动JN、NN、ZKFC、DN、RM、NM服务

7.2 启动JN(每个服务启动之前需要init单独的节点）

kinit -kt /BigData/run/hadoop/keytab/hadoop.keytab hadoop/$HOSTNAME@EXAMPLE.COM
##重启JournalNode

hadoop-daemon.sh stop journalnode && hadoop-daemon.sh start journalnode

##启动JournalNode

hadoop-daemon.sh start journalnode

##停止JournalNode

hadoop-daemon.sh stop journalnode

7.3 启动NameNode和ZKFC服务

如果是新集群，需要提前format

hadoop namenode -format
kinit -kt /BigData/run/hadoop/keytab/hadoop.keytab hadoop/$HOSTNAME@EXAMPLE.COM
##重启nn

hadoop-daemon.sh stop namenode && hadoop-daemon.sh start namenode

##启动nn

hadoop-daemon.sh start namenode

##停止nn

hadoop-daemon.sh stop namenode


##重启zkfc

hadoop-daemon.sh stop zkfc && hadoop-daemon.sh start zkfc

##启动zkfc

hadoop-daemon.sh start zkfc

##停止zkfc

hadoop-daemon.sh stop zkfc

7.4 启动DatanNode服务

kinit -kt /BigData/run/hadoop/keytab/hadoop.keytab hadoop/$HOSTNAME@EXAMPLE.COM
##重启dn

hadoop-daemon.sh stop datanode && hadoop-daemon.sh start datanode

##启动dn

hadoop-daemon.sh start datanode

##停止dn

hadoop-daemon.sh stop datanode

7.5 验证HA功能(多NameNode)

[hadoop@tv3-hadoop-01 hadoop]$ hdfs haadmin -failover nn2 nn1

7.6 验证HDFS文件读写

[hadoop@tv3-hadoop-01 ~]$ echo '123' > b
[hadoop@tv3-hadoop-01 ~]$ hdfs dfs -put -f b /tmp/
[hadoop@tv3-hadoop-01 ~]$ hdfs dfs -cat /tmp/b
123
[hadoop@tv3-hadoop-01 ~]$

7.7 启动HTTPS后 webui无法访问UI状态

7.8 启动Resoucemanager服务

kinit -kt /BigData/run/hadoop/keytab/hadoop.keytab hadoop/$HOSTNAME@EXAMPLE.COM
##重启rm

yarn --daemon stop resourcemanager && yarn --daemon start resourcemanager

##启动rm

yarn --daemon start resourcemanager

##停止rm

yarn --daemon stop resourcemanager

7.9. 启动Nodemanager服务

kinit -kt /BigData/run/hadoop/keytab/hadoop.keytab hadoop/$HOSTNAME@EXAMPLE.COM
##重启rm

yarn --daemon stop nodemanager && yarn --daemon start nodemanager
##启动rm

yarn --daemon start nodemanager

##停止rm

yarn --daemon stop nodemanager

7.10 验证Mapreduce job

hadoop jar /BigData/run/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 5 10

看到下面结果代表YARN已经部署ok

Job Finished in 66.573 seconds
Estimated value of Pi is 3.28000000000000000000
[hadoop@tv3-hadoop-01 hadoop]$
大数据之家
关注
  • 19
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Apache】Hadoop 3.2.1集群集成Kerberos
cisiy0226的博客
03-29 685
Apache3.2.1集成Kerberos
Hadoop部署和配置Kerberos安全认证
05-17
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
Hadoop Kerberos 集成
hyunbar的博客
02-10 2877
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 106篇原创内容 ...
Hadoop 配置 Kerberos 认证_hadoop kerberos认证
最新发布
2401_84185182的博客
04-27 479
rw-r–r–. 1 root root 1298 10月 5 17:14 bd_ca_cert。-rw-r–r–. 1 root root 1834 10月 5 17:14 bd_ca_key。
Hadoop集成Kerberos安全服务器
qq_43541182的博客
03-16 1441
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
原生apache hadoop3.3.1集群安装配置Kerberos
h952520296的博客
05-25 1477
安装kerberos可以看一下我另外一篇。下面直接开始配置hadoop部署好了kerberos之后，首先添加用户和生成认证文件在KDC中添加需要认证的用户具体用户看情况而定(hadoop集群主要由hdfs管理，所以除了建hdfs账户还有HTTP账户，另外还有hive、hbase、dwetl也会访问hadoop集群。如有别的用户可用这种方式另行添加，如下图：格式为：用户名/主机hostname@HADOOP.COM。
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更全面、更细致、更硬核的生产调优手册，对源码解析部分进行了全新的扩充和升级，并增加大量企业实战案例！ 视频大小： 12.9G
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf
06-27
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
Hadoop 2.x伪分布式环境搭建详细步骤
09-10
在本教程中，我们将深入探讨如何在本地计算机上搭建Hadoop 2.x的伪分布式环境。伪分布式环境意味着所有Hadoop服务都在同一台机器上运行，但模拟的是一个分布式的集群环境，这对于学习和测试Hadoop功能非常有用。 ...
Hadoop3.x系统文档
03-23
Hadoop3.x系统文档深入地介绍了Hadoop 3.x版本的新特性和配置方法。Hadoop作为一个开源框架，允许使用简单的编程模型跨计算机集群存储和处理大数据。它被广泛用于数据仓库和大规模数据集的应用程序，特别是用于处理...
小白快速掌握Hadoop集成Kerberos安全技术频教程
11-04
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 从零学习Kerberos安全认证机制，并和Hadoop、YARN、HIVE进行集成，通过知识点 + 案例教学法帮助小白快速掌握Hadoop集成Kerberos安全技术。 课程亮点 1，专项攻破Hadoop安全配置。 2，生动形象，化繁为简，讲解通俗易懂。 3，全程实操，边操作边讲解，不再只听概念。 适用人群 1、对大数据安全机制方面技术感兴趣的在校生及应届毕业生。 2、Hadoop从业者，希望进一步提升个人技能，拓展职业路线。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章 Kerberos简介 第二章 环境准备 2.1 使用软件版本信息介绍 2.2 节点架构介绍 2.3 基础系统环境准备 第三章 Kerberos框架搭建 3.1 Kerberos Server搭建 3.2 Kerberos Client搭建 3.3 规划principal 第四章 配置HDFS和Kerberos的集成 第五章 配置YARN和Kerberos的集成 第六章 配置HIVE和Kerberos的集成 第七章 最终集成测试验收成果
hadoop3.x带snappy(可用于windows本地开发)
10-26
【标题】"hadoop3.x带snappy(可用于windows本地开发)"所涉及的知识点主要集中在Hadoop 3.0版本以及Snappy压缩算法在Windows环境下的应用。Hadoop是一个开源的大数据处理框架，由Apache软件基金会开发，它使得在...
Hadoop安全之Kerberos
S1124654的博客
01-30 3634
Hadoop安全之Kerberos
Hadoop集群之开启kerberos安全认证
weixin_39060974的博客
03-07 8039
1.KDC节点 KDC节点上需要安装krb5-server、krb5-libs、krb5-auth-dialog、krb5-workstation服务，Client单独部署在其他节点 yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation -y 2.Client节点 Client节点上部署krb5-devel、krb5-workstation服务 yum install krb5-devel krb5-workst
Hadoop 配置 Kerberos 认证
zhy1379的博客
10-15 4052
kinit: Invalid Uid in persistent keyring name while getting default ccache Cannot contact any KDC for realm KrbException: Message stream modified (41) kinit: relocation error: kinit: symbol krb5_get_init_creds_opt_set_pac_request, 提交 spark on yarn
【hadoop】hadoop 安装 kerberos
九师兄
04-23 2461
1.概述 本次是视频：【大数据基础】快速掌握Hadoop集成Kerberos安全技术 笔记。 2.环境信息 2.1 版本信息 本次课程基于使用的软件环境如下: 。CDH5.14.4 。hadoop2.6.0-cdh5.14.4 。hive1.1.1-cdh5.14.4 CentOS 6.9 x64操作系统 JDK 1.8 and jdk1.7(for maven) apache-maven-3.0.5 Kerberos 使用在线yum库提供的最新版本 除操作系统外，所有需要用到的安装包，在课件内都有提.
hadoop、hbase、zookeeper整合kerberos，搭建安全平台
杂记
10-31 6337
随着Hadoop等大数据技术的普及，其平台的安全性日益受到企业的重视，特别是对安全性要求较高的通信、金融等领域。而安全性主要包括两个部分：Authentication、Authorization。 本文侧重于Authentication方面，旨在通用整合Kerberos，提升大数据平台的安全性，降低风险。 至于Authorization方面内容，另有篇幅描述。
Hadoop开启Kerberos安全模式
gmHappy
07-22 1011
一、前言 完成Hadoop集群搭建，可参照：https://gaoming.blog.csdn.net/article/details/118995746 完成Kerberos KDC的搭建，可参照： https://gaoming.blog.csdn.net/article/details/118939810 二、kerberos配置 2.1 新增用户 在kerberos服务器执行以下命令新增用户，对应HDFS集群的3台服务器的默认用户hdfs和http，还有yarn kadmin.local -q "a
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值