JP.Hu-CSDN博客

原创 Nginx 24.0.5 部署

配置环境变量主要用于方便运行 Nginx 命令，并不影响 Nginx 的部署和使用。若无此需求，可跳过此步骤。

2024-03-19 07:17:19 436

原创 CDH 6.3.2 集成 Apache Ranger 2.1.0 开启 Kerberos 认证

需要注意的是：目前的测试结果较为有限，无法完全了解更改后可能存在的问题。不建议在生产环境中使用。而在运行 Usersync 服务时，已将节点上的 Hive 用户同步至 Ranger Admin 中，所以需要将 Ranger Admin 中的 Hive 用户权限提升至 Admin。在进行此步骤前，需确认已完成 Ranger 2.1.0 For CDH 6.3.2 编译、已在可使用的 MySQL 中创建数据库 ranger、已使用 Ranger 所提供的 Solr 完成 Solr Standalone 部署。

2024-03-10 09:01:22 1255

原创 Linux 7.9 部署 KDC 1.15.1

Kerberos 是一种身份验证协议，明显比基于密码的普通身份验证更加安全。借助 Kerberos，密码绝不会通过网络发送，即使在其它计算机上访问服务也是如此。同时，它也提供了一种机制，允许用户和计算机向网络表明自己身份并接收对管理员配置的区域和服务进行定义的有限访问权限。Kerberos 通过验证其身份来验证实体，Kerberos 还可保护此数据的身份验证，使其不能被外部人员访问和使用Kerberos 使用对称密钥加密要验证用户到网络服务的身份验证，这意味着密码实际上不会通过网络发送。

2024-03-10 08:58:32 889

原创 Kubernetes 认证与授权

【代码】Kubernetes 认证与授权。

2024-01-23 22:31:44 965

原创 ZooKeeper 3.5.10 集群部署

部署文档：https://zookeeper.apache.org/doc/r3.1.2/zookeeperStarted.html。介质路径：https://zookeeper.apache.org/releases.html。中所填写的 ID，使其。

2024-01-21 10:38:49 506 1

原创 Linux 7.9 部署 Spark 2.3.4 StandAlone 集群

进行下述操作之前，已通过 JDK 的官方介质路径，下载了 jdk1.8.0_333 介质，并已存放至每个节点的 /data/service/jdk 目录下。建议在进行 Spark 部署之前，先将 Spark 的服务目录添加至全局环境变量中，以便后续的部署和使用中，可直接通过变量来指定 Spark 服务目录。在实际生产中，建议将 Spark 的数据目录至少分配到 2 个不同的磁盘存放，其目的在于增加数据的安全性，但不会起到负载均衡的效果。按节点分布，除 hadoop2 节点外，都进行如下操作。

2024-01-21 10:37:25 903

原创 CDH 6.3.2 集成 Apache Ranger 2.1.0

由于 CDH 在重启服务时，会在 /var/run/cloudera-scm-agent/process/ 目录下，以进程号为目录名称重新创建一个全新的服务目录，所以直接使用 Apache Ranger 会在重启服务后，出现无法获取 jar 包或配置文件的异常。由于 Ranger 2.1.0 默认支持的大数据服务版本，相较于 CDH 6.3.2 所提供的服务版本而言过高，所以无法直接兼容 CDH 6.3.2，需要额外调整配置文件和源码。此处所使用的密码为!Ranger 删除用户，本地不会同步删除。

2024-01-21 10:35:35 1523 1

原创 MongoDB 5.0.9 集群分片模式部署

cyrus-sasl && cyrus-sasl-gssapi：mongodb 管理工具依赖包。由于 mongossrv 只用于路由，并不存放实际数据。mongodb-database-tools：mongoDB 官方管理工具。在 Sharding 架构中，mongossrv 之间并没有 HA 功能。若需要部署 mongossrv HA，需要借助其它服务。可将实力设置为仲裁实例，则只参与仲裁，不读写数据。禁用 NUMA，以避免其导致的性能异常。禁用 NUMA，以避免其导致的性能异常。

2024-01-21 10:32:19 949

原创 Milvus 最新版本 On Kubernetes StandAlone 模式部署

【代码】Milvus 最新版本 On Kubernetes StandAlone 模式部署。

2024-01-21 10:29:46 1225

原创 Kubernetes 1.28.2 单 Master 部署

可通过官方地址，获取最新版本的 ingress-nginx deployment。而此文档所使用的版本为 1.9.3。基于上述的服务架构的规划，需在 redis2 节点上进行如下操作。

2024-01-21 10:26:47 972 1

原创 Kafka 2.5.0 集群部署

【代码】Kafka 2.5.0 集群部署。

2024-01-21 10:23:20 372

原创 HBase 2.3.2 集群部署

【代码】HBase 2.3.2 集群部署。

2024-01-21 10:20:37 916

原创 Hadoop 3.1.1 YARN 集群部署

Hadoop 3.1.1 YARN 集群部署依赖服务系统优化查看 ZooKeeper 集群状态创建路径配置 /etc/profile配置 \$/HADOOP\_HOME/etc/hadoop/yarn-env.sh配置 \$/HADOOP\_HOME/etc/hadoop/mapred-site.xml创建 NodeManager 黑名单文件配置 \$/HADOOP\_HOME/etc/hadoop/yarn-site.xml创建 \$/HADOOP\_HOME/etc/hadoop/yarn-fairsc

2024-01-21 10:12:11 877

JP.Hu 的博客