大数据基础环境搭建
文章平均质量分 66
hello youth
QQ:475418538
支付宝:13851948250
个人邮箱:47418538@qq.com
展开
-
Flink + Iceberg +对象存储
Flink + Iceberg +对象存储原创 2023-09-06 23:41:58 · 697 阅读 · 0 评论 -
Nacos集群安装
nacos 安装原创 2023-09-04 13:40:41 · 20 阅读 · 0 评论 -
ilogTail的搭建和使用
文档待整理。原创 2023-09-06 23:27:27 · 180 阅读 · 0 评论 -
clickhose集群搭建
参考链接:https://blog.csdn.net/qq_32212587/article/details/124457415。需要环境:centos7.9+zookeeper+JDK8+clickhouse 22.2.2.1-2。以上,完成clickhouse 3shard1replica集群部署。使用的是默认存储位置,查看稍微麻烦,如有必须可以更改。机器:hdp01 hdp02 hdp03。9000端口已经被占用,改用5566端口。原创 2023-09-04 13:33:51 · 91 阅读 · 0 评论 -
OpenResty的安装
OpenResty = Nginx + Lua,是一个增强的Nginx,可以编写lua脚本实现非常灵活的逻辑了。原创 2023-09-04 15:22:47 · 214 阅读 · 0 评论 -
Mysql主从安装
显示ip解析错误,猜测解析估计是DNS的问题,本地网络使用应该是需要禁用就可以。通过查看主节点日志cat /var/log/mysqld.log。[mysqld]下面增加skip-name-resolve。进入/etc 找到mysql的配置文件my.cnf。验证一下:创建test库,从库果然可以同步,搞定!重启从节点,果然成功!原创 2023-09-04 14:11:06 · 56 阅读 · 0 评论 -
Centos Zookeeper集群安装配置
下载地址上传文件至跟目录并解压到/opt 目录下。原创 2023-09-04 13:14:26 · 29 阅读 · 0 评论 -
Centos Nginx集群安装配置
需要两台服务器127.19.230.102 和127.19.230.104在两台服务器安装nginx.在两合服务器安装keepalived.原创 2023-09-04 13:09:09 · 51 阅读 · 0 评论 -
Ambari2.7.X集成flume1.9
一定要把flume.repo复制到需要安装的子节点上,比如:要在hadoop01、hadoop02节点安装flume,则需要把flume.repo复制到以上两个节点。参考链接:https://blog.csdn.net/NDF923/article/details/123692025。注:该项目是py,先执行sh buildrpm.sh脚本,在添加相关的包。可以在这里填写配置,也可以不填,等安装完成再填写。到此,rpm包编译完成。原创 2023-09-04 13:02:23 · 101 阅读 · 0 评论 -
Ambari 2.7.X集成安装Dolphin1.3.9
解决:查看worker日志是否有错误,这个问题通常是由于端口冲突导致,例如dolphinscheduler启动了nginx,其中监听了相关端口,关闭服务后nginx仍在运行,下次启动worker后会出现端口冲突的异常。CentOS-7.8、nodejs-v16.13.0、npm-8.1.0(nodejs自带)、git-1.8.3.1、java-1.8、1、工作流执行后一直为启动状态,无日志输出。hdp01、hdp02、hdp03:执行。2、创建数据库用户(mysql)2)进入源码目录进行编译。原创 2023-09-04 12:56:39 · 136 阅读 · 0 评论 -
Ambari 2.7.X安装Flink1.14.X
(随便一台服务器,这里选hdp01)(之前已经装过,可以省略)安装完成后,会生成 /var/www/html目录(相当于Tomcat的webapps目录)原创 2023-09-04 12:49:09 · 135 阅读 · 0 评论 -
大数据平台HDP3.1.4(Ambari2.7.4)安装
300g/var 150g/swap 4g/home 150g修改本机名,3台节点均为centos7系统,分别为hdp01,hdp02,hdp03。原创 2023-09-04 12:39:20 · 765 阅读 · 0 评论