Laurence的技术博客

Maven Resources Plugin的Filtering功能是非常强大的，是构建中非常重要的一项必备特性，但是最近发现了Filtering在过滤复杂文本（例如Shell脚本）时，会有一些问题，简单记录一下。以下是一段Shell脚本，脚本会多次引用：以下是上述脚本经Filtering处理后的版本，基中红色高亮的第三行并不是脚本中的语句，只是为了说明Filtering在进行文本替换时的行为特征而加的。从前后对比中可以看到：复杂的并没有被提换，而单独一行的被正确替换了。至于原因大概是脚本过于复杂，

AWS EMR提供三种内置的Ranger插件，分别是：S3(EMRFS)，Spark，Hive，如果要启用这些插件，需要创建一些特定的IAM Role，以便相关组件能获得适当的权限。AWS EMR针对Ranger的使用，设计了三种IAM Role，分别是：赋予EMR各EC2节点的Role，赋予Ranger插件的Role和赋予其他服务/组件（非Ranger插件）的Role......

写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Kerberos上实现同样的目标时，发现这一领域的知识与方案琐碎而凌乱，缺少统一连贯，脉络清晰的讲解，在经过大量技术调研和系统梳理后，我们特

写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Kerberos上实现同样的目标时，发现这一领域的知识与方案琐碎而凌乱，缺少统一连贯，脉络清晰的讲解，在经过大量技术调研和系统梳理后，我们特

写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Kerberos上实现同样的目标时，发现这一领域的知识与方案琐碎而凌乱，缺少统一连贯，脉络清晰的讲解，在经过大量技术调研和系统梳理后，我们特

场景描述：找到指定的行，将其注释掉（是直接注释，不是修改值），然后紧接下一行插入新内容这种场景在修改配置文件时最常见，注释和插入的往往是同一配置项，为了维护配置文件的可读性，通常会将关系紧密的几项配置放在一起，这就是为什么需要紧接下一行插入新内容的原因。我们现在要编辑/var/kerberos/krb5kdc/kdc.conf文件，编辑内容为：找到现有的database_name配置项将其注释掉，然后紧邻下一行插入新的配置项（因为两项配置关系密切）...

在SSH的/etc/ssh/sshd_config配置文件中有两个“看上去”很紧密的配置项：GSSAPIAuthentication和KerberosAuthentication，原因是：大家都知道在大多数情况下GSSAPI认证就是Kerberos认证，所以问题来了：那SSH里的这个KerberosAuthentication又是什么呢？和GSSAPIAuthentication有什么关系呢？我们接下来通过5组对比测试把这个问题解释清楚。...............

文章目录环境说明脚本内容参考文章通常我们可以在Windows上手动完成Active Directory服务的安装与Forest的创建工作，这里有一篇详实的文章可供参考：《Installing Active Directory on Windows Server 2012 R2》。但是，有时候，我们需要将这些操作变成脚本，以便可以自动执行，本文将介绍如何使用powershell脚本完成这些操作。环境说明本操作涉及如下环境信息：键值Windws AD的Domain NameEXAM

文章目录注意事项VPC配置参考重要的日志常见错误启用Cross-Realm Trust后，将对要创建EMR集群提出多个“隐性”的限制条件，启用前需要清楚并满足这些约束条件，否则创建EMR集群就会失败。注意事项EMR集群必须在一个IP长度少于9个字符的VPC里。为了满足这一条件，VPC的CIDR最好取10.0.0.0/16，子网的CIDR可以依次取10.0.1.0/24，10.0.2.0/24等。这样可以确保IP总长度在9个字符之内。之所以有这样的限制是因为AWS总是基于IPv4地址分配DNS主机名

文章目录1. 环境说明2. 在AD服务器上添加Kerberos的KDC并信任其Realm3. 配置加密类型4. 在Kerberos端配置对AD的信任5. 修改应用程序的认证配置这一操作具有广泛的适用场景，例如：在一个启用了Kerberos的大数据集群下，想联通企业的Windows AD服务器，允许企业用户使用域账号和密码登入集群或提交作业。注意：典型的应用场景下，我们是不需要配置Kerberos与Windows AD双向互信，因为让Windows AD取信任Kerberos管控集群的那些服务账号没有特别大

请参考此文，图文结合，简单易懂：Installing Active Directory on Windows Server 2012 R2

大多数情况下，在创建AWS的EMR集群时，在EC2 instance profile这一项， 我们一般使用默认的EMR_EC2_DefaultRole，如下图所示：但有时候，我们需要根据需要，定制自己的EC2 Role和EC2 Instance Profile，如果这些EC2 Role和EC2 Instance Profile是通过命令行或CloudFormation创建的，那很大概率，你将在创建EMR集群时遇到如下错误：排除Role和Profile本身的配置错误，引发这一问题的原因可能非常低级，但

文章目录1. 生成根CA证书并自签2. 生成二级CA证书并使用CA证书签发3. 生成服务器证书并使用二级CA证书签发4. 制作CA证书链5. 打包为p12文件6. 注意事项7. 使用`openssl x509`和`openssl ca`签发CA证书的差别操作步骤：生成根CA证书并自签生成二级CA证书并使用CA证书签发生成服务器证书并使用二级CA证书签发制作CA证书链打包为p12文件1. 生成根CA证书并自签# 创建root-ca并自签名openssl req -x509 -newkey

文章目录1 生成证书的步骤与原理2 标准的CA签发流程2.1 创建私钥（.key)2.2 基于私钥创建证书签名请求（.csr）2.3 （可选）直接同时生成私钥和证书签名请求2.4 将证书申请请求（.csr）提交给CA认证机构申请证书（.crt）2.5 CA机构生成CA证书链3 生成自签名证书3.1 创建私钥（.key）3.2 基于私钥（.key）创建证书签名请求（.csr）3.3 （可选）直接同时生成私钥（.key）和证书签名请求（.csr）3.4 使用自己的私钥（.key）签署自己的证书签名请求（.csr

文章目录PEM文件DER文件PEM与DER的相互转换总得来说这些文件都与X.509证书和密钥文件有关，从文件编码上分，只有两大类：PEM格式：使用Base64 ASCII进行编码的纯文本格式DER格式：二机制格式而CRT, CER，KEY这几种证书和密钥文件，它们都有自己的schema，在存储为物理文件时，既可以是PEM格式，也可以DER格式。CER：一般用于windows的证书文件格式CRT：一般用于Linux的证书，包含公钥和主体信息KEY：一般用于密钥，特别是私钥打个比方：CE

SSL/TLS的工作原理比较复杂，涉及很多密码学的知识，本文希望用朴素的语言来解释和演绎SSL/TLS的工作原理，同时也是一份个人的学习笔记。

本文将介绍 DataFrame.loc()和DataFrame.iloc()的各项基本操作。

文章目录DataFrame数据结构如何构建DataFrame按行构建使用Dictionary按行构建使用List按行构建按列构建使用Dictionary按列构建使用List按列构建使用set_index重置索引DataFrame数据结构DataFrame的数据结构与一张数据表是非常相似的，上图对于DataFrame的解释已经一目了然了。唯一需要特别解释一下的是Index。在DF中，如不特别指定，DF总是默认为每一行数据生成Index，这个Index就是从0开始的自增索引，和数组中的Index是一样的。

文章目录导入数据导出数据创建测试对象查看、检查数据数据选取数据清理数据处理：Filter、Sort和GroupBy数据合并数据统计import pandas as pdimport numpy as np导入数据pd.read_csv(filename)：从CSV文件导入数据pd.read_table(filename)：从限定分隔符的文本文件导入数据pd.read_excel(filename)：从Excel文件导入数据pd.read_sql(query, connection_objec

版权声明：本文由本人撰写并发表于InfoQ官网以及公众号 https://www.infoq.cn/article/5t7w9H3LXSEujo1PCSIZ，本文版权归人个所有，未经许可不得转载。“戒备”与“偏见”几年前，我所在的一家传统行业的头部企业启动了一系列数字化转型项目，在配套的IT基础设施建设上，“上云”已是大势所趋。在此前数年的工作中，我断断续续地使用着公有云产品，大多数情况下，我们只选择IaaS层级的服务，也就是只使用虚拟实例，对PaaS和云平台特定的S