- 博客(127)
- 收藏
- 关注
原创 测试环境搭建整套大数据系统(十九:kafka3.6.0单节点做 sasl+acl)
【代码】测试环境搭建整套大数据系统(十九:kafka3.6.0单节点做 sasl+acl)
2024-08-15 09:35:05
341
原创 测试环境搭建整套大数据系统(十七:mysql同步,字段类型映射错误问题)
mysql表hive表其中 type是字符串类型,但是yarn上一直报错number这个类是往int类型转才会使用到的。
2024-07-24 14:37:08
543
原创 测试环境搭建整套大数据系统(十六:超级大文件处理遇到的问题)
日志:1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];
2024-05-10 18:59:01
486
原创 测试环境搭建整套大数据系统(十二:挂载磁盘到hadoop环境)
将硬盘连接到计算机的 SATA 接口或 USB 接口,并确保硬盘通电并处于可用状态。
2024-03-25 11:36:01
426
原创 测试环境搭建整套大数据系统(十:测试环境minio单节点部署)
4. 查看控制台。用户名:admin密码:minioadmin备注:ip为你本台服务器的ip。5. 添加MinIO控制脚本添加启动脚本添加关闭脚本命令。
2024-03-13 13:48:27
337
原创 测试环境搭建整套大数据系统(八:搭建BI工具-dataease)
请自行下载 DataEase 最新版本的基础安装包,并复制到目标机器的 /tmp 目录下。安装包下载链接: https://community.fit2cloud.com/#/products/dataease/downloads。
2024-03-07 16:19:25
368
原创 测试环境搭建整套大数据系统(七:集群搭建kafka(2.13)+flink(1.13.6)+dinky(0.6)+iceberg)
修改以下俩内容1.三台机器分别给予各自的broker_id。
2024-02-26 11:11:50
467
原创 测试环境搭建整套大数据系统(五:搭建dolphinschduler3.1.9)
官网地址:三:添加jar包。1. 添加zk jar包。进入 zookeeper 的安装目录,将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg,并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper。需要在alert-server,api-server,master-server,tools,worker-server这五个目录全部放进去。即使你使用的mysql是5.7,也要使用8.0.16以上的驱动。将驱动包放到al
2024-02-22 10:29:41
837
原创 测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive,hbase)
将以下信息填写到configuration中。java_home填写自己安装的路径。三台机器配置环境变量。
2024-02-19 17:48:29
617
原创 测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
在 Linux 系统中,hostname 和 /etc/hosts 文件分别用于管理主机名和主机名解析。在三台服务器上,分别执行以下命令。重启reboot。
2024-01-31 10:22:11
405
原创 kerberos+kafka(2.13)认证(单节点ubuntu)
复制 bin/kafka-server-start.sh 脚本重命名为 bin/kafka-server-start-sasl.sh,倒数第二行增加如下配置。.新建 kafka-client-jaas.conf 文件,该文件也放到 Kafka 的 config/kerberos 目录下。创建用户principal。验证登录,使用密钥登录.
2024-01-30 16:44:34
1162
原创 面试篇spark(spark core,spark sql,spark 优化)
相比较map-reduce框架,spark的框架执行效率更加高效。mapreduce的执行框架示意图。spark执行框架示意图spark的执行中间结果是存储在内存当中的,而hdfs的执行中间结果是存储在hdfs中的。所以在运算的时候,spark的执行效率是reduce的3-5倍。
2023-11-28 17:43:20
328
原创 修炼k8s+flink+hdfs+dlink(七:flinkcdc)
邀请你加入共享群「工作使用重要工具」一起进行文档协作。在flink lib目录下增加你所需要的包。
2023-11-14 16:06:47
686
原创 修炼k8s+flink+hdfs+dlink(六:学习namespace,service)
我们pod有自己的服务,但是想要和外界进行数据的交互,必须有服务。
2023-10-24 16:31:17
487
原创 修炼k8s+flink+hdfs+dlink(五:安装dockers,cri-docker,harbor仓库,k8s)
9.重启docker服务。
2023-10-17 11:50:15
831
原创 修炼k8s+flink+hdfs+dlink(四:k8s(二)架构)
一组工作机器,称为节点, 会运行容器化应用程序。每个集群至少有一个工作节点。
2023-10-13 11:52:09
139
原创 修炼k8s+flink+hdfs+dlink(四:k8s(二)组件)
控制平面组件会为集群做出全局决策,比如资源的调度。以及检测和响应集群事件,例如当不满足部署的 replicas 字段时, 要启动新的 pod)。
2023-10-10 17:32:12
1428
原创 修炼k8s+flink+hdfs+dlink(四:k8s(一)概念)
标签是附加到kubenetes对象上的键值对。标签在用于指定的用户有意义且相关的对象的标识属性,但不对核心系统有语义含义。标签使用户能够以松散耦合的方式将他们自己的组织结构映射到系统对象,而无需客户端存储这些映射。标签能够支持高效的查询和监听操作,对于用户界面和命令行是很理想的。
2023-10-10 11:35:40
762
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人