开源大数据集群部署
文章平均质量分 71
云掣YUNCHE
一家专注于云托管(MSP)服务的企业
展开
-
开源大数据集群部署(二十一)Spark on yarn 部署
yarn的capacity-scheduler.xml文件修改配置保证资源调度按照CPU + 内存模式:(每个yarn 节点)修改mapred-site.xml: (每个yarn节点)Spark 环境配置文件 (每个spark节点)Spark 配置文件 (每个spark节点)直接访问histroy server。创建对应hdfs目录,并修改权限。开启history server。更多技术信息请查看云掣官网。原创 2024-04-16 17:41:10 · 549 阅读 · 1 评论 -
开源大数据集群部署(二十)Trino部署
jvm配置-server-Xmx4GCoordinator 的config配置。原创 2024-04-11 15:32:34 · 688 阅读 · 0 评论 -
开源大数据集群部署(十九)Hbase部署
作者:櫰木。原创 2024-03-29 14:55:01 · 817 阅读 · 0 评论 -
开源大数据集群部署(十八)Hive 安装部署
作者:櫰木。原创 2024-03-27 17:33:00 · 737 阅读 · 0 评论 -
开源大数据集群部署(十七)HADOOP集群配置(二)
作者:櫰木。原创 2024-03-22 14:02:24 · 1053 阅读 · 0 评论 -
开源大数据集群部署(十六)Hadoop集群部署(一)
作者:櫰木按照上文中hadoop集群规划进行安装。原创 2024-03-15 15:36:26 · 1227 阅读 · 0 评论 -
开源大数据集群部署(十五)Zookeeper集群部署
作者:櫰木。原创 2024-03-13 16:15:20 · 1221 阅读 · 0 评论 -
开源大数据集群部署(十四)Ranger集成Hbase
访问地址:http://hd1.dtstack.com:6080/在hmaster和back master上进行安装和执行。用户密码:admin/rangerAdmin123。在hd1.dtstack.com主机上执行。测试连通性,连接成功后保存即可。更多技术信息请查看云掣官网。原创 2024-03-05 15:19:39 · 1962 阅读 · 0 评论 -
开源大数据集群部署(十三)Ranger 集成Trino
作者:櫰木。原创 2024-02-29 14:36:47 · 848 阅读 · 0 评论 -
开源大数据集群部署(十二)Ranger 集成 hive
作者:櫰木。原创 2024-02-27 14:26:21 · 647 阅读 · 0 评论 -
开源大数据集群部署(十一)Ranger 集成Hadoop集群
servicename必须和install.properties中的REPOSITORY_NAME填写一致。初始化完成后会在/opt/hadoop/etc/hadoop目录下生成3个文件。以下内容参考hdfs-site.xml和core-site.xml参考填写。在rangeradmin页面上进行配置。部署在两个namenode节点。更多技术信息请查看云掣官网。原创 2024-02-21 15:51:37 · 668 阅读 · 0 评论 -
开源大数据集群部署(十)Ranger usersync部署
作者:櫰木。原创 2024-02-05 15:23:12 · 1160 阅读 · 0 评论 -
开源大数据集群部署(九)Ranger审计日志集成(solr)
作者:櫰木。原创 2024-02-02 14:52:12 · 1182 阅读 · 0 评论 -
开源大数据集群部署(八)Ranger编译部署
作者:櫰木在hd1.dtstack.com主机root权限下操作。原创 2024-01-31 15:33:13 · 1377 阅读 · 0 评论 -
开源大数据集群部署(七)Freeipa卸载
通过上述命令操作,彻底卸载FreeIPA服务器和客户端,并清理相关的残留文件和软件包。请确保在执行这些命令之前备份重要数据,并谨慎操作,因为这些操作可能会导致数据丢失。卸载FreeIPA服务器和客户端的命令,以及清理相关残留文件和卸载相关软件包。更多技术信息请查看云掣官网。2、页面删除主机节点。原创 2024-01-29 14:36:48 · 504 阅读 · 0 评论 -
开源大数据集群部署(六)Keytab文件生成
作者:櫰木Keytab文件用于在不输入密码的情况下对主体(用户或服务)进行身份验证。以下是创建Kerberos身份验证的步骤。原创 2024-01-23 15:40:35 · 622 阅读 · 0 评论 -
开源大数据集群部署(五)Freeipa客户端部署及配置(kerberos+ldap)
本文将介绍如何在客户端节点上安装和配置FreeIPA客户端,包括安装IPA-Client、执行ipa-client-install等关键步骤。同时,由于部署过程中可能出现一些常见的问题,我们还将探讨如何手动添加DNS记录和解决可能的DNS配置问题。可能还有一种情况,在cat /etc/resolv.conf 配置有问题的情况下会出现A记录找不到的情况。在部署client后,客户端节点可能在freeipa的dns记录中不存在,需要手动进行创建。安装客户端后,出现找不到dns的错误,需要手动添加。原创 2024-01-18 15:25:12 · 500 阅读 · 0 评论 -
开源大数据集群部署(四)Freeipa部署(kerberos+ldap)
Kerberos协议只是一种协议标准的框架,而MIT Kerberos则是实现了该协议的认证服务,是Kerberos的物理载体。将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MIT Kerberos之外,我们还需要安装LDAP。在生产环境中Knox使用附带的LDAP服务显然是不合适的,因此需要一种更为正式的安装方式。Kerberos和LDAP服务这类基础设施服务虽好,但是手动安装起来非常繁琐,接下来用一种全新的方法,通过使用FreeAPI来安装上述的基础设施组件。原创 2024-01-12 16:50:17 · 1556 阅读 · 0 评论 -
开源大数据集群部署(三)集群mysql数据库部署
作者:櫰木本文将介绍mysql部署,其中在hd1.dtstack.com主机root权限下安装配置。原创 2024-01-09 16:28:19 · 662 阅读 · 0 评论 -
开源大数据集群部署(二)集群基础环境实施准备
作者:櫰木。原创 2024-01-08 14:51:15 · 1406 阅读 · 0 评论 -
开源大数据集群部署(一)集群实施规划
作者:櫰木。原创 2024-01-03 15:04:10 · 697 阅读 · 0 评论