生成和配置ES的安全证书

于 2024-06-19 16:55:32 发布
阅读量34 收藏
点赞数
分类专栏： es 大数据 文章标签： jenkins 运维
原文链接：https://www.cnblogs.com/yxh168/p/13539231.html
版权
大数据 同时被 2 个专栏收录
585 篇文章 27 订阅
订阅专栏
es
52 篇文章 4 订阅
订阅专栏

系统工具安装

    1.下载离线的rpm包

        yum -y install yum-utils
        yumdownloader expect    把rpm包下载到本地
        yumdownloader tcl

       

       

   2.下载源码包需要首先编译安装 如果没有gcc的话就会编译失败.如果是下载的rpm包则不会出现依赖问题

        

     3.rpm包自动包含了软件包所有的依赖的其它包

启动ES设置读取证书文件权限

 

 

 使用不同的jdk需要设置到对应的策略文件

自动创建证书

复制代码

function create_certs()
{
  
 expect <<EOF
   spawn ${ES_INSTALL_DIR}/bin/elasticsearch-certutil cert --ip ${IP} --pem
   expect {
             #"Please enter the desired output file [certificate-bundle.zip]" { send "\n"}
             "Please enter the desired output file" { send "\n"}
          }
   expect eof
EOF
  echo "证书生成完毕${ES_INSTALL_DIR}/certificate-bundle.zip"
  rm -fr ${ES_INSTALL_DIR}/ca
  rm -fr ${ES_INSTALL_DIR}/instance
  unzip ${ES_INSTALL_DIR}/certificate-bundle.zip -d ${ES_INSTALL_DIR}
  #unzip ${ES_INSTALL_DIR}/certificate-bundle.zip
  chown -R ${ES_USER}:${ES_USER} ${ES_INSTALL_DIR}
}


function modify_elastichyml()
{
  
  ymlpath=${ES_INSTALL_DIR}/config
  cp ../../etc/elasticsearch/elasticsearch.yml ${ymlpath}/
  #cp  ../../etc/elasticsearch/elasticsearch.yml  ${ymlpath}/elasticsearch.yml
  sed -i "s#__ip__#${IP}#g" ${ymlpath}/elasticsearch.yml
  sed -i "s#__es_install_dir__#${ES_INSTALL_DIR}#g" ${ymlpath}/elasticsearch.yml

  javafile=${ES_INSTALL_DIR}/jdk/conf/security/java.policy
  javafile2=${INSTALL_DIR}/jdk/jre/lib/security/java.policy
  
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca/ca.crt\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.key\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.crt\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance\", \"read,write\";" ${javafile}   

  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca/ca.crt\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.key\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.crt\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance\", \"read,write\";" ${javafile2}

  sed -i "/# End of file/i * soft nofile 65536" /etc/security/limits.conf
  sed -i "/# End of file/i * hard nofile 65536" /etc/security/limits.conf
  sysctl -w vm.max_map_count=262144
}

复制代码

创建证书并自定义主机名

            bin/elasticsearch-certutil cert --ip ${IP} --pem  

            默认证书中包含的主机名称为instance      应用连接es集群的时候只能使用https://instance:9200进行登录

           bin/elasticsearch-certutil cert --ip ${IP} --pem --dns myes-instance

           这样通过证书连接登录的时候可以通过https://myes-instance:9200进行验证登录

自动创建密码

      创建密码的时候必须要等待es服务正常启动后才能执行 而不能在安装后立即执行

   

复制代码

passwd=123456
expect <<EOF
 spawn /app/chuangfa/taishi/elasticsearch/bin/elasticsearch-setup-passwords  interactive --batch --url https://192.168.19.135:9200
 expect {
             "elastic" { send "$passwd\n";exp_continue}
             "elastic" { send "$passwd\n";exp_continue}
             "apm_system" { send "$passwd\n";exp_continue}
             "apm_system" { send "$passwd\n";exp_continue}
             "kibana_system" { send "$passwd\n";exp_continue}
             "kibana_system" { send "$passwd\n";exp_continue}
             "logstash_system" { send "$passwd\n";exp_continue}
             "logstash_system" { send "$passwd\n";exp_continue}
             "beats_system" { send "$passwd\n";exp_continue}
             "beats_system" { send "$passwd\n";exp_continue}
             "remote_monitoring_user" { send "$passwd\n";exp_continue}
             "remote_monitoring_user" { send "$passwd\n"}
          
        }
 expect eof
EOF
echo "密码生成完毕"

复制代码

复制代码

function modify_conf()
{
    #ES supervisord启动配置
    mkdir -p ${INSTALL_DIR}/etc/supervisord
    elasticsearch_ini=${INSTALL_DIR}/etc/supervisord/elasticsearch.ini
    elasticsearch_program=elasticsearch
    
    cp ../../etc/supervisord/elasticsearch.ini ${elasticsearch_ini}
    sed -i "s#__es_install_dir__#${ES_INSTALL_DIR}#g" ${elasticsearch_ini}
    sed -i "s#__install_dir__#${INSTALL_DIR}#g" ${elasticsearch_ini}
    sed -i "s#__program__#${elasticsearch_program}#g" ${elasticsearch_ini}
    if [ ${USER} == "root" ];then
        sed -i "s#__user__#${ES_USER}#g" ${elasticsearch_ini}
        chown -R ${ES_USER}:${ES_USER} ${elasticsearch_ini}
    else
        sed -i "s#__user__#${USER}#g" ${elasticsearch_ini}
        chown -R ${USER}:${USER} ${elasticsearch_ini}
    fi

    #es配置
    mkdir -p ${INSTALL_DIR}/etc
    rm -f ${ES_INSTALL_DIR}/config/elasticsearch.yml
    # cp ../../etc/elasticsearch/elasticsearch.yml ${ES_INSTALL_DIR}/config/
    # sed -i "s#__es_install_dir__#${ES_INSTALL_DIR}#g" ${ES_INSTALL_DIR}/config/elasticsearch.yml
    # cp ../../etc/elasticsearch/jvm.options ${ES_INSTALL_DIR}/config/
    # cp ../../etc/elasticsearch/log4j2.properties ${ES_INSTALL_DIR}/config/
    
    if [ ${USER} == "root" ];then
       # shell中的:号表示pass 什么也不执行
       chown -R ${ES_USER}:${ES_USER} ${MODE_DIR}
       chown -R ${ES_USER}:${ES_USER} ${ES_INSTALL_DIR}
       # 直接修改目录的属主和属组即可 目录下的所有文件都可以被修改掉
       #chown -R ${ES_USER}:${ES_USER} ${ES_INSTALL_DIR}/config/elasticsearch.yml
       #chown -R ${ES_USER}:${ES_USER} ${ES_INSTALL_DIR}/config/jvm.options
       #chown -R ${ES_USER}:${ES_USER} ${ES_INSTALL_DIR}/config/log4j2.properties
    else
        :
    fi
}

function Install()
{
    #获取ES安装包
    getPackage=`ls -l ../../src/ | grep "elasticsearch-[0-9]" | awk '{print $9}'`
    echo "Obtain elasticsearch installation package ${getPackage}"

    #解压es安装包
    tar zxvf ../../src/${getPackage} -C ../../tmp/ 2>&1 >/dev/null
    #获取es解压目录
    getName=`ls -l ../../tmp/ | grep "elasticsearch" | awk '{print $9}'`
    echo "Get directory ${getName}"
    echo "${ES_INSTALL_DIR}"
    mv ../../tmp/${getName} ${ES_INSTALL_DIR}
}


function main()
{
    #默认es版本呢
    es_version_tmp=`ls -l ../../src/ | grep "elasticsearch-[0-9]" | awk '{print $9}' | grep -oE '[0-9]+\.[0-9\.]+'`
    es_version=${es_version_tmp%?}
    echo "es version ${es_version}"

    Install
    modify_conf
    create_certs
    modify_elastichyml
    create_passwd
}

function create_certs()
{
  
 expect <<EOF
   spawn ${ES_INSTALL_DIR}/bin/elasticsearch-certutil cert --ip ${IP} --pem
   expect {
             #"Please enter the desired output file [certificate-bundle.zip]" { send "\n"}
             "Please enter the desired output file" { send "\n"}
          }
   expect eof
EOF
  echo "证书生成完毕${ES_INSTALL_DIR}/certificate-bundle.zip"
  rm -fr ${ES_INSTALL_DIR}/ca
  rm -fr ${ES_INSTALL_DIR}/instance
  unzip ${ES_INSTALL_DIR}/certificate-bundle.zip -d ${ES_INSTALL_DIR}
  #unzip ${ES_INSTALL_DIR}/certificate-bundle.zip
  chown -R ${ES_USER}:${ES_USER} ${ES_INSTALL_DIR}
}


function modify_elastichyml()
{
  
  ymlpath=${ES_INSTALL_DIR}/config
  cp ../../etc/elasticsearch/elasticsearch.yml ${ymlpath}/
  #cp  ../../etc/elasticsearch/elasticsearch.yml  ${ymlpath}/elasticsearch.yml
  sed -i "s#__ip__#${IP}#g" ${ymlpath}/elasticsearch.yml
  sed -i "s#__es_install_dir__#${ES_INSTALL_DIR}#g" ${ymlpath}/elasticsearch.yml

  javafile=${ES_INSTALL_DIR}/jdk/conf/security/java.policy
  javafile2=${INSTALL_DIR}/jdk/jre/lib/security/java.policy
  
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca/ca.crt\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.key\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.crt\", \"read,write\";" ${javafile}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance\", \"read,write\";" ${javafile}   

  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca/ca.crt\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/ca\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.key\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance/instance.crt\", \"read,write\";" ${javafile2}
  sed -i "/permission java.util.PropertyPermission \"java.vm.name\", \"read\";/a permission java.io.FilePermission  \"${ES_INSTALL_DIR}/instance\", \"read,write\";" ${javafile2}

  sed -i "/# End of file/i * soft nofile 65536" /etc/security/limits.conf
  sed -i "/# End of file/i * hard nofile 65536" /etc/security/limits.conf
  sysctl -w vm.max_map_count=262144
}

function setpasswd()
{
 passwd=${ES_PASSWD}
expect <<EOF
 spawn ${ES_INSTALL_DIR}/bin/elasticsearch-setup-passwords  interactive --batch --url https://${IP}:9200
 expect {
             "elastic" { send "$passwd\n";exp_continue}
             "elastic" { send "$passwd\n";exp_continue}
             "apm_system" { send "$passwd\n";exp_continue}
             "apm_system" { send "$passwd\n";exp_continue}
             "kibana_system" { send "$passwd\n";exp_continue}
             "kibana_system" { send "$passwd\n";exp_continue}
             "logstash_system" { send "$passwd\n";exp_continue}
             "logstash_system" { send "$passwd\n";exp_continue}
             "beats_system" { send "$passwd\n";exp_continue}
             "beats_system" { send "$passwd\n";exp_continue}
             "remote_monitoring_user" { send "$passwd\n";exp_continue}
             "remote_monitoring_user" { send "$passwd\n"}
          
        }
 expect eof
EOF

}

function create_passwd()
{
    su - ${ES_USER} -c  ${ES_INSTALL_DIR}/bin/elasticsearch & > /dev/null 2>&1
    local count=0
    for((i=1;i<=5;i++));
    do 
       count=`netstat -antp | grep 9200  | wc -l`
       sleep 5
       if  [ "$count" -gt 0 ];then
        break
       fi
    done

    if  [ "$count" -gt 0 ];then
       echo "ES success to start. set user passwd" 
       setpasswd
    else
       echo "ES failed to start in 5 minutes."     
    fi
    sleep 3
}




if [ $# -eq 0 ]; then
     __ReadINI ../../conf/.config.ini
    main
else
    __Plugin_Deployment_Before $1
    main 2>&1 | tee -a ../../log/enterprise.log
    __Plugin_Deployment_After
fi

复制代码

登录ES

 shell执行几点区别

     su - user -c program
     其中user为用户名 program为要运行的程序,     如su - isoa -c /usr/isoa/bin/gtimer.sh

     

     第一行指定解析器的话 启动执行的需要使用./start-cluster.sh的方式  使用 sh start-cluster.sh的方式可能会出现执行失败的情况

     linux ./a.sh 命令与sh a.sh的区别为：可执行属性不同、执行方式不同、兼容性不同。
       一、可执行属性不同
           1、 ./a.sh 命令： ./a.sh 命令的文件必须具有可执行属性
           2、 sh a.sh命令：sh a.sh命令的文件不必具有可执行属性
      二、执行方式不同
           1、 ./a.sh 命令：./a.sh 命令使用脚本中第一行所指定的命令来解释和执行文件
           2、 sh a.sh命令：sh a.sh命令使用shell工具的SH脚本直接解释和执行文件

zxfBdd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch学习（十九）Elasticsearch8 搭建集群自动生成https证书
码易的博客
05-02 2757
目录前言一、初始化节点二、新节点加入三、第三个节点四、问题 前言 安装elasticsearch之后，启动es节点，让es自动生成安全证书。
ES开启认证 本文章总结经验进步
XCaiNiAOxXXX的博客
10-11 1196
ES开启安全认证
es配置xpack认证，生成ca证书
一只闪闪发光的少爷爷
08-24 2555
1 解压es，保证es单机启动成功。 2 进入es安装目录： cd /${ES_HOME} 3 生成ca证书 bin/elasticsearch-certutil ca 然后提示输入“输出文件名（证书名称）” 及 “密码” 4 此时你的安装目录下就会出现刚刚自定义名称生成得证书 5 编辑 config/elastic.yml 文件，加入一下信息 xpack.security.enabled: true xpack.security...
es设置账号和密码
最新发布
u014391549的博客
04-24 1924
注：前两个红框直接回车，第三个红框可以直接回车，也可以输入证书密码。注：密码可设置为同一个密码，容易记住。注：两个红方框位置直接回车。
elasticsearch生成证书的两种方式
sun_xuegang的博客
11-24 9726
1.elasticsearch-certgen 方式 详细见文档：elasticsearch 集群安装 + xpack + es-head + ik分词 注意: 这种方式如果以后新增节点导致证书得重新生成并放到es所有节点 2.elasticsearch-certutil方式 ##(1)创建证书 $ pwd /alidata1/admin/tools/elasticsearch-6.8.6 $ ./bin/elasticsearch-certutil ca --pem --out ca.zip --days
Elasticsearch SSL认证/证书制作
Bernard Han的博客
04-17 3668
转载自：Elasticsearch SSL认证/证书制作 Elasticsearch SSL认证/证书制作 - a-du - 博客园 制作目的 在上一篇《elasticsearch7.X x-pack破解》中，我们启用了x-pack模块，elasticsearch集群中，如果使用了x-pack，那么集群中的各节点之间通讯就必须安全认证。为了解决节点间通讯的认证问，我们需要制作证书。 内容简介 本文的主要内容是指导SSL制作过程。 步骤 生成证书 一、cd到es安装目录下，执行命令： cd
Elasticsearch 8.4.1 配置自签名证书和启用Https
热门推荐
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
11-26 1万+
这个时候会提示你输入提取代码. for-iis.pem就是可读的文本，生成pfx的命令类似这样：openssl pkcs12 -export -in certificate.crt -inkey privateKey.key -out certificate.pfx -certfile CACert.crt，其中CACert.crt是CA(权威证书颁发机构)的根证书,通过-certfile参数使用；KEY：通常用来存放一个公钥或者私钥，并非X.509证书，编码同样的，可能是PEM，也可能是DER。
单机多节点 elasticsearch 集群安全认证
干就完了！！！
06-12 2308
es 集群安全认证
Elasticsearch基础3——密钥库工具、证书生成工具及四种生成模式、https请求步骤流程
百慕卿君博客
02-04 6235
1.密钥库工具的使用。 2.证书生成工具使用、四种生成模式。 3.https请求步骤流程
elasticsearch安全认证.docx
09-30
编辑`elasticsearch.yml`配置文件，在每台节点上添加相关安全配置，包括开启跨域支持，启用安全性，设置SSL，指定证书和信任存储的路径等。示例配置如下： - `http.cors.enabled: true` - `...
ElasticSearch集成SearchGuard配置和实现TransportCient链接
02-28
ElasticSearch5集成...含有证书生成配置文件，elasticSearch.yml配置文件，角色配置映射等全套的配置文件，只需按照自己的集群环境修改部分参数即可；配有java实现TransportClient链接集群，证书实现权限控制的实例
elasticsearch未授权访问 漏洞修复
05-09
首先，我们需要在一个 Elasticsearch 节点上生成证书，使用 `elasticsearch-certutil ca` 创建 CA 证书，然后使用 `elasticsearch-certutil cert` 生成服务器证书。确保证书具有适当的权限，并将其复制到集群中的...
elasticsearch7.6、kibana7.6开启x-pack
04-08
最后，需要将证书和秘钥分配到各个节点上，并配置 Elasticsearch 和 Kibana 来使用这些证书和秘钥。 在配置 Elasticsearch 时，需要开启 X-Pack 和 TLS 验证， 并添加密码启动集群。在配置 Kibana 时，需要修改配置...
ElasticSearch添加用户权限验证.docx
02-03
不过，值得注意的是，Search Guard的配置相当复杂，需要对Elasticsearch和安全概念有深入理解。同时，为了保持最佳的安全状态，建议定期更新安全策略和组件，以及监控系统日志以检测任何异常活动。此外，如果条件...
ansible-role-beats:安装和配置Elastic Beats
04-09
当然，Elasticsearch服务器应该已启动并正在运行。 您将需要生成供节拍使用的证书（如果需要启用加密的通信）。 您可以使用其他角色来执行这些任务，例如和 。 请参阅示例剧本。 角色变量 在文件中查找此角色变量...
Ansible-ansible-elasticsearch.zip
09-18
2. **配置 Elasticsearch**: Ansible 的 `template` 模块允许我们创建和传输模板文件，这些模板可以包含变量，根据实际情况动态生成配置文件。例如，我们可以设置 Elasticsearch 的集群名称、节点角色、网络绑定地址...
search-guard-6.5.4 和 其对应的ssl
01-08
2. **配置SSL/TLS**：使用`search-guard-ssl-6.5.4-25.5.zip`中的工具生成或导入所需的证书和密钥，配置SSL/TLS设置。 3. **配置安全策略**：定义用户、角色和权限，确保只有授权的用户可以访问特定的索引和文档。 ...
最新Elasticsearch+x-pack+head+kibana+bigdesklogstash+java开发经验和片段完整部署开发分享
03-01
以文档较为详细的描述了elasticsearch体系所有工具，包括java开发的完整示例代码和过程，包括以下内容： 1.es常用命令 2.es配置详解 3.ik分词器安装 4.基于x-pack的权限模块安装配置 5.head插件安装 6.kibana安装 7....
elasticsearch8证书配置
08-18
根据引用中的信息，Elasticsearch 8的证书配置是通过配置文件中的xpack.security.transport.ssl.enabled属性来实现的。当该属性设置为true时，Elasticsearch将使用SSL证书进行安全传输。在引用中提到的错误是由于未正确配置cert导致的，可以通过重新生成证书文件来解决该问题。具体的证书配置过程可能因版本而有所不同，建议参考相关的文档或官方指南以获取最新的配置说明和步骤。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Elasticsearch 8集群搭建、安全功能配置详述](https://blog.csdn.net/projim_tao/article/details/128857084)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Elasticsearch 8.4.1 配置自签名证书和启用Https](https://blog.csdn.net/ximenjianxue/article/details/128034565)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值