Hadoop-2.2.0中文文档—— MapReduce 下一代 - Encrypted Shuffle

最新推荐文章于 2023-10-15 19:23:59 发布
最新推荐文章于 2023-10-15 19:23:59 发布
阅读量3k 收藏
点赞数
分类专栏： hadoop-2.2.0中文文档 文章标签： hadoop 文档

简介

 Encrypted Shuffle capability (加密洗牌功能?)允许用HTTPS 和 可选的客户端验证 (也称作双向的 HTTPS, 或有客户端证书的 HTTPS) 去加密 MapReduce shuffle.它包括:

  • 在HTTP 和 HTTPS 之间绑定 shuffle 的一个 Hadoop 配置
  • 用来指定 keystore 和 truststore 属性的Hadoop配置(位置,类型,密码) 用于 shuffle 服务和reducer任务去取 shuffle 数据。
  • 在集群中交叉重载 truststores (当一个节点加入或删除时).

配置

core-site.xml 属性

要允许加密shuffle, 在 core-site.xml 中对集群中的所有节点设置下面的属性：

属性 默认值 说明
hadoop.ssl.require.client.cert false 客户端证书是否需要
hadoop.ssl.hostname.verifier DEFAULT 提供给HttpsURLConnections的主机名验证器. 合法的值是：
 DEFAULT, STRICT, STRICT_I6, DEFAULT_AND_LOCALHOST 和ALLOW_ALL
hadoop.ssl.keystores.factory.class org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory 要用的KeyStoresFactory实现
hadoop.ssl.server.conf ss-server.xml 要抽取keystore信息的 ssl服务器中的文件。
这个文件要在classpath中查找， 一般应该在 Hadoop conf/ 目录中。
hadoop.ssl.client.conf ss-client.xml 要抽取keystore信息的 ssl服务器中的文件。
这个文件要在classpath中查找， 一般应该在 Hadoop conf/ 目录中。

重要: 当前需要把客户端证书设置为false。参考 Client Certificates 一节以获得细节内容。

重要:在集群配置文件中的所有属性应该标记为 final。

示例 :
    ...
    <property>
      <name>hadoop.ssl.require.client.cert</name>
      <value>false</value>
      <final>true</final>
    </property>

    <property>
      <name>hadoop.ssl.hostname.verifier</name>
      <value>DEFAULT</value>
      <final>true</final>
    </property>

    <property>
      <name>hadoop.ssl.keystores.factory.class</name>
      <value>org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory</value>
      <final>true</final>
    </property>

    <property>
      <name>hadoop.ssl.server.conf</name>
      <value>ssl-server.xml</value>
      <final>true</final>
    </property>

    <property>
      <name>hadoop.ssl.client.conf</name>
      <value>ssl-client.xml</value>
      <final>true</final>
    </property>
    ...
mapred-site.xml 属性

要允许加密shuffle, 在 mapred-site.xml 中对集群中的所有节点设置下面的属性：

属性 默认值 说明
mapreduce.shuffle.ssl.enabled false 加密 shuffle允许与否

重要: 在集群配置文件中的这个属性应该标记为 final。

示例 :
    ...
    <property>
      <name>mapreduce.shuffle.ssl.enabled</name>
      <value>true</value>
      <final>true</final>
    </property>
    ...

Linux 容器执行器应该设置为阻止作业任务读取服务器的keystore信息，以及获得shuffle服务器证书。

参考 Hadoop Kerberos 配置，以获得此处如何做的细节。

Keystore 和 Truststore 的设置

当前 FileBasedKeyStoresFactory 是 KeyStoresFactory 的唯一实现.  FileBasedKeyStoresFactory 实现用了下面的属性, 在 ssl-server.xml 和 ssl-client.xml 文件中,用来配置 keystores 和 truststores.

ssl-server.xml (Shuffle server) 的配置:

mapred 用户应该拥有ssl-server.xml文件并有唯一地访问权。

属性 默认值 说明
ssl.server.keystore.type jks Keystore 文件类型
ssl.server.keystore.location NONE Keystore 文件的位置. 
mapred 用户应该拥有此文件并有唯一地访问权。
ssl.server.keystore.password NONE Keystore 文件密码
ssl.server.truststore.type jks Truststore 文件类型
ssl.server.truststore.location NONE Truststore 文件的位置. 
mapred 用户应该拥有此文件并有唯一地访问权。
ssl.server.truststore.password NONE Truststore 文件密码
ssl.server.truststore.reload.interval 10000 Truststore 重载间距, 毫秒值
示例: 
<configuration>

  <!-- Server Certificate Store -->
  <property>
    <name>ssl.server.keystore.type</name>
    <value>jks</value>
  </property>
  <property>
    <name>ssl.server.keystore.location</name>
    <value>${user.home}/keystores/server-keystore.jks</value>
  </property>
  <property>
    <name>ssl.server.keystore.password</name>
    <value>serverfoo</value>
  </property>

  <!-- Server Trust Store -->
  <property>
    <name>ssl.server.truststore.type</name>
    <value>jks</value>
  </property>
  <property>
    <name>ssl.server.truststore.location</name>
    <value>${user.home}/keystores/truststore.jks</value>
  </property>
  <property>
    <name>ssl.server.truststore.password</name>
    <value>clientserverbar</value>
  </property>
  <property>
    <name>ssl.server.truststore.reload.interval</name>
    <value>10000</value>
  </property>
</configuration>
ssl-client.xml (Reducer/Fetcher)  的配置:

mapred 用户应该拥有ssl-server.xml文件并它应该有默认的权限。

属性 默认值 说明
ssl.client.keystore.type jks Keystore 文件类型
ssl.client.keystore.location NONE Keystore 文件的位置. 
mapred 用户应该拥有此文件并有唯一地访问权。
ssl.client.keystore.password NONE Keystore 文件密码
ssl.client.truststore.type jks Truststore 文件类型
ssl.client.truststore.location NONE Truststore 文件的位置. 
mapred 用户应该拥有此文件并有唯一地访问权。
ssl.client.truststore.password NONE Truststore 文件密码
ssl.client.truststore.reload.interval 10000 Truststore  重载间距, 毫秒值
示例 :
<configuration>

  <!-- Client certificate Store -->
  <property>
    <name>ssl.client.keystore.type</name>
    <value>jks</value>
  </property>
  <property>
    <name>ssl.client.keystore.location</name>
    <value>${user.home}/keystores/client-keystore.jks</value>
  </property>
  <property>
    <name>ssl.client.keystore.password</name>
    <value>clientfoo</value>
  </property>

  <!-- Client Trust Store -->
  <property>
    <name>ssl.client.truststore.type</name>
    <value>jks</value>
  </property>
  <property>
    <name>ssl.client.truststore.location</name>
    <value>${user.home}/keystores/truststore.jks</value>
  </property>
  <property>
    <name>ssl.client.truststore.password</name>
    <value>clientserverbar</value>
  </property>
  <property>
    <name>ssl.client.truststore.reload.interval</name>
    <value>10000</value>
  </property>
</configuration>
           
           

            
            

             
             
激活Encrypted Shuffle

             
             
当你改变了上面的配置，要通过重启所有的  NodeManagers 来激活 Encrypted Shuffle.

             
             
重要: 使用 encrypted shuffle 会导致对性能有明显影响。用户应该避免这种情况，并尽可能地 保留1或更多的加密 shuffle 核心。(?)

            
            

            
            

             
             
ClientCertificates 客户端证书

             
             
使用客户端证书并不能完全保证客户端是作业的一个reducer任务。当前，客户端证书(他们的私钥)keystore 文件 必须对所有提交作业到集群的用户 是可读的。这意味着一个欺诈性的作业可以读这些 keystore 文件，并在其上使用客户端证书与一个Shuffle服务器建立安全连接。然而，除非欺诈性作业有一个合理的 JobToken, 否则它将不能从 Shuffle server 上检索数据。一个作业，用其自己的 JobToken, 仅可以检索属于它自身的数据。

            
            

            
            

             
             
重载Truststores

             
             
默认地， truststores 会每10秒重载一次他们的配置文件。如果在一个旧的 truststore 文件 上复制了一个新的，它会被重新读取，它的证书也会替换掉旧的。这种机制对于从集群上添加或删除节点，或者是添加/删除信任的客户端非常有用。这种情况下，客户端或者 NodeManager 证书就被添加到(或从中删除)系统中的所有的 truststore 文件上，并且不必重启 NodeManager 守护进程，新的配置就会被发现。

            
            

            
            

             
             
Debugging

             
             
注意: 启用 debugging 仅仅是为了发现和解决问题，作业也只是运行在小量数据上。会几个数量级地减慢作业，也是冗长的。(你可能需要增加 mapred.task.timeout 防止作业失败，因为任务执行如此之慢。)

             
             
要在 reducers 中允许 SSL debugging, 设置-Djavax.net.debug=all in the mapreduce.reduce.child.java.opts 属性; 例如：

             
             

              
              
  <property>
    <name>mapred.reduce.child.java.opts</name>
    <value>-Xmx-200m -Djavax.net.debug=all</value>
  </property>

             
             

             
             
你可以在每个作业上都这样做，或用 mapred-site.xml 的集群范围内的设置。

             
             
要在 NodeManager 中设置这个属性, 请在 yarn-env.sh 文件中设置:

             
             

              
              
  YARN_NODEMANAGER_OPTS="-Djavax.net.debug=all $YARN_NODEMANAGER_OPTS"
sanfendi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
kafka pem格式配置SSL
Leftmumu的博客
02-25 1653
server.properties文件增加如下配置 # SSL认证配置 ssl.client.auth=required ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1 ssl.keystore.type=PEM ssl.truststore.type=PEM # kafka2.0.x开始，将ssl.endpoint.identification.algorithm设置为了HTTPS，即:需要验证主机名 # 如果不需要验证主机名，那么可以这么设置 ssl.endp
Hadoop 配置 Kerberos 认证
最新发布
zhy1379的博客
10-15 2446
kinit: Invalid Uid in persistent keyring name while getting default ccache Cannot contact any KDC for realm KrbException: Message stream modified (41) kinit: relocation error: kinit: symbol krb5_get_init_creds_opt_set_pac_request, 提交 spark on yarn
案例 3 Hadoop集群Shuffle加密
Siobhan_Mxin的博客
03-10 2392
Hadoop集群Shuffle加密 hadoop加密报错解决 virtualbox修改硬盘大小
Kerberos常见报错汇总
王羲之的之的博客
09-27 1512
在初始化Kerberos数据库时需要输入密码，2次密码输入不一致就会导致该错误。重新执行"kdb5_util -r YINZHENGJIE.COM create -s"指令，输入2次相同的密码即可。一般情况下出现在配置文件(kdc.conf)中的"supported_enctypes"的某个加密类型不可用。下面我针对"supported_enctypes"做了修改，大家可以做个对比。使用修改后的参数问题得到解决，之所以贴出来修改后的是为了提供一个参考。
hadoop-mapreduce-client-core-2.5.1-API文档-中文版.zip
04-23
标签：core、apache、mapreduce、client、hadoop、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，...
hadoop-2.2.0 64位
11-21
此hadoop是hadoop-2.2.0是32位的编译出来的，亲测可用
Windows下使用hadoop-common-2.2.0-bin-master插件-附件资源
03-02
Windows下使用hadoop-common-2.2.0-bin-master插件-附件资源
hadoop-2.2.0-x64.tar.gz part3
01-05
自己编译的64bithadoop-2.2.0版本 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
Hadoop安全认证
m0_52931616的博客
09-05 2609
hadoop安全认证
hdfs第四步报错format namenode
qq_24409555的博客
07-26 2184
报错日志： WARN ssl.FileBasedKeyStoresFactory: The property ‘ssl.client.truststore.location’ has not been set, no TrustStore will be loaded Running in non-interactive mode, and data appears to exist in S
Hadoop集群安装HTTPS服务
程序猿丶HLK
02-28 1754
安装说明：我是自己搭建的三台虚拟机hadoop01/hadoop02/hadoop03，生成CA证书hdfs_ca_key和hdfs_ca_cert只需要在任意一台节点上完成即可，其他每个节点包括生成证书的节点都需要执行第四步以后的操作，且必须使用root用户执行以下操作： 1.在hadoop01节点生成CA证书，需要输入两次密码，其中CN:中国简称;ST:省份;L:城市;O和OU:公司或个人域...
关于ssl通道的建立服务器端keystore的操作
千年祸害万年牢
12-14 1913
服务器端keystore中必须的证书为根证书、中级根证书和服务器证书,如果中级根证书没有的话，也可以。根证书直接影响浏览器是否弹出选择框，同时，在客户端登入端口时，还需要注意浏览器是否读到客户端的私钥。 常用keystore操作命令为： keytool -list -v -keystore d:/certtest/keystore -storepass xxx keytool -de
kafka学习笔记十kafka-SSL安全认证机制
justlpf的专栏
12-29 2102
参考文章：kafka学习笔记十kafka-SSL安全认证机制_hwhanwan的专栏-CSDN博客_kafka ssl认证 一、生成配置cert 1.1生成 server keystore [root@iZbp19pf0xgaj0oo0041u6Z cert]# keytool -keystore server.keystore.jks -alias kafka-server -validity 365 -keyalg RSA -genkey Enter keystore password: R
namenode格式化失败：java.lang.IllegalArgumentException: URI has an authority component
奋斗不息，编码不止
12-08 3369
最近部署hadoop分布式系统，在格式化的时候出现了问题。journal node和zookeeper都启动了，就是不能格式化namenode，仔细对照配置文件后发现，在core-site.xml中的一个配置好像不太一样。 报错信息如下： 17/09/02 04:18:53 WARN ssl.FileBasedKeyStoresFactory: The property ‘ssl.client.truststore.location’ has not been set, no TrustStore wil
hadoop https配置
anxia5150的博客
09-22 916
在 hadoop1生成ca并拷贝至hadoop2,hadoop2。 （密码随便设置，大于6位即可。如adminadmin） cd /etc/https openssl req -new -x509 -keyout hdfs_ca_key -out hdfs_ca_cert -days 9999 -subj '/C=CN/ST=beijing/L=chaoyang/O=lec...
ssl开启客户端认证配置
xiejx618的专栏
06-14 8345
参考: 1.http://tomcat.apache.org/tomcat-8.0-doc/ssl-howto.html 2.http://www.eclipse.org/jetty/documentation/current/configuring-ssl.html 3.http://www.eclipse.org/jetty/documentation/9.3.0.v20150612/je
keyStore和truststore区别
热门推荐
chenzanlong123的专栏
09-17 3万+
一个web应用如果需要提供以https的方式访问的服务的话，我们需要一个数字证书，这个证书的配置是在apache的配置文件或者其他web容器的配置文件中进行配置的。当然这个可以保存在keystore中。 我们自己的应用中通常所说的keystore或者truststore主要是针对于应用本身的需求来的。 keystore和truststore从其文件格式来看其实是一个东西，只是为了方便管理将其分
hadoop-2.2.0
09-01
解压缩后，你会在/data/java/tools/hadoop-2.2.0-src/hadoop-dist/target/目录下找到编译好的hadoop-2.2.0.tar.gz包。接下来，你可以根据你的需求修改hadoop的配置文件进行安装。<span class="em">1</span><span ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值