自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(127)
  • 收藏
  • 关注

原创 测试环境搭建整套大数据系统(十九:kafka3.6.0单节点做 sasl+acl)

【代码】测试环境搭建整套大数据系统(十九:kafka3.6.0单节点做 sasl+acl)

2024-08-15 09:35:05 341

原创 测试环境搭建整套大数据系统(十九:kafka2.5.0单节点做 ssl)

kafka ssl

2024-08-05 17:53:15 302

原创 测试环境搭建整套大数据系统(十八:ubuntu镜像源进行更新)

报错显示。

2024-08-05 11:14:23 155

原创 测试环境搭建整套大数据系统(十七:mysql同步,字段类型映射错误问题)

mysql表hive表其中 type是字符串类型,但是yarn上一直报错number这个类是往int类型转才会使用到的。

2024-07-24 14:37:08 543

原创 测试环境搭建整套大数据系统(十六:超级大文件处理遇到的问题)

日志:1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];

2024-05-10 18:59:01 486

原创 测试环境搭建整套大数据系统(十六:flink提交命令)

【代码】测试环境搭建整套大数据系统(十六:flink提交命令)

2024-04-28 11:52:20 115 3

原创 测试环境搭建整套大数据系统(十五:搭建mysql8)

【代码】测试环境搭建整套大数据系统(十四:搭建mysql8)

2024-04-24 14:55:28 307 2

原创 测试环境搭建整套大数据系统(十四:报错-bash: /root: Is a directory

问题描述问题解决去掉下面的~即可。

2024-04-24 14:38:59 223 2

原创 测试环境搭建整套大数据系统(十三:设置开机自启动)

【代码】测试环境搭建整套大数据系统(十三:设置开机自启动)

2024-03-25 15:04:30 263

原创 测试环境搭建整套大数据系统(十二:挂载磁盘到hadoop环境)

将硬盘连接到计算机的 SATA 接口或 USB 接口,并确保硬盘通电并处于可用状态。

2024-03-25 11:36:01 426

原创 Typora最新版本源码破解

一:官网自行下载。二:修改参数。三:配置

2024-03-20 09:29:32 213

原创 测试环境搭建整套大数据系统(十:测试环境minio单节点部署)

4. 查看控制台。用户名:admin密码:minioadmin备注:ip为你本台服务器的ip。5. 添加MinIO控制脚本添加启动脚本添加关闭脚本命令。

2024-03-13 13:48:27 337

原创 测试环境搭建整套大数据系统(十一:docker部署superset,无密码登录嵌入html,http改为https)

参考文档。

2024-03-12 18:48:29 774 1

原创 测试环境搭建整套大数据系统(九:docker学习)

docker是一个平台。

2024-03-08 17:24:35 628

原创 测试环境搭建整套大数据系统(八:搭建BI工具-dataease)

请自行下载 DataEase 最新版本的基础安装包,并复制到目标机器的 /tmp 目录下。安装包下载链接: https://community.fit2cloud.com/#/products/dataease/downloads。

2024-03-07 16:19:25 368

原创 测试环境搭建整套大数据系统-问题篇(一:实时遇到的问题)

将TIMESTAMP_LTZ改为TIMESTAMP。

2024-03-04 15:18:50 362

原创 测试环境搭建整套大数据系统(七:集群搭建kafka(2.13)+flink(1.13.6)+dinky(0.6)+iceberg)

修改以下俩内容1.三台机器分别给予各自的broker_id。

2024-02-26 11:11:50 467

原创 测试环境搭建整套大数据系统(六:搭建sqoop)

【代码】测试环境搭建整套大数据系统(六:搭建sqoop)

2024-02-22 14:31:30 360

原创 测试环境搭建整套大数据系统(五:搭建dolphinschduler3.1.9)

官网地址:三:添加jar包。1. 添加zk jar包。进入 zookeeper 的安装目录,将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg,并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper。需要在alert-server,api-server,master-server,tools,worker-server这五个目录全部放进去。即使你使用的mysql是5.7,也要使用8.0.16以上的驱动。将驱动包放到al

2024-02-22 10:29:41 837

原创 测试环境搭建整套大数据系统(四:ubuntu22.4创建普通用户)

现象解决方式。

2024-02-20 17:47:40 236

原创 测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive,hbase)

将以下信息填写到configuration中。java_home填写自己安装的路径。三台机器配置环境变量。

2024-02-19 17:48:29 617

原创 测试环境搭建整套大数据系统(二:安装jdk,mysql)

参考。

2024-01-31 15:35:42 545

原创 测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)

在 Linux 系统中,hostname 和 /etc/hosts 文件分别用于管理主机名和主机名解析。在三台服务器上,分别执行以下命令。重启reboot。

2024-01-31 10:22:11 405

原创 kerberos+kafka(2.13)认证(单节点ubuntu)

复制 bin/kafka-server-start.sh 脚本重命名为 bin/kafka-server-start-sasl.sh,倒数第二行增加如下配置。.新建 kafka-client-jaas.conf 文件,该文件也放到 Kafka 的 config/kerberos 目录下。创建用户principal。验证登录,使用密钥登录.

2024-01-30 16:44:34 1162

原创 工作实践篇 Flink(一:flink提交jar)

flink 模式 – standalone。

2023-12-22 16:26:36 1394

原创 ChatGPT使用

温馨提示:可以按照g流量额度进行购买。

2023-12-22 13:41:29 227

原创 面试篇:算法(二:二叉树)

【代码】面试篇:算法(二:二叉树)

2023-12-03 15:51:24 226

原创 面试篇算法:(一:排序算法)

原理:进行多次的比较,每次将最大的值选取出来,放在最后面。在进行多次比较。直至结果出来。

2023-12-03 12:38:56 237

原创 面试篇Flink

flink是一个针对于实时进行处理的框架。高可用,低延迟。

2023-11-29 15:35:35 494

原创 面试篇spark(spark core,spark sql,spark 优化)

相比较map-reduce框架,spark的框架执行效率更加高效。mapreduce的执行框架示意图。spark执行框架示意图spark的执行中间结果是存储在内存当中的,而hdfs的执行中间结果是存储在hdfs中的。所以在运算的时候,spark的执行效率是reduce的3-5倍。

2023-11-28 17:43:20 328

原创 修炼k8s+flink+hdfs+dlink(七:flinkcdc)

邀请你加入共享群「工作使用重要工具」一起进行文档协作。在flink lib目录下增加你所需要的包。

2023-11-14 16:06:47 686

原创 kafka(一:分区数据不均衡(数据倾斜),分区分配策略)

可以设置一个新的列,根据这个列进行hash。

2023-11-07 15:44:15 1957

原创 修炼k8s+flink+hdfs+dlink(六:学习namespace,service)

我们pod有自己的服务,但是想要和外界进行数据的交互,必须有服务。

2023-10-24 16:31:17 487

原创 修炼k8s+flink+hdfs+dlink(六:学习k8s-pod)

【代码】修炼k8s+flink+hdfs+dlink(六:学习k8s)

2023-10-19 17:56:00 917

原创 修炼k8s+flink+hdfs+dlink(五:安装dockers,cri-docker,harbor仓库,k8s)

9.重启docker服务。

2023-10-17 11:50:15 831

原创 修炼k8s+flink+hdfs+dlink(四:k8s(二)架构)

一组工作机器,称为节点, 会运行容器化应用程序。每个集群至少有一个工作节点。

2023-10-13 11:52:09 139

原创 iceberg-flink 十一:在dlink代码中建表增加catalog地址。

是存储元数据的地方。

2023-10-12 14:14:53 108

原创 修炼k8s+flink+hdfs+dlink(四:k8s(二)组件)

控制平面组件会为集群做出全局决策,比如资源的调度。以及检测和响应集群事件,例如当不满足部署的 replicas 字段时, 要启动新的 pod)。

2023-10-10 17:32:12 1428

原创 修炼k8s+flink+hdfs+dlink(四:k8s(一)概念)

标签是附加到kubenetes对象上的键值对。标签在用于指定的用户有意义且相关的对象的标识属性,但不对核心系统有语义含义。标签使用户能够以松散耦合的方式将他们自己的组织结构映射到系统对象,而无需客户端存储这些映射。标签能够支持高效的查询和监听操作,对于用户界面和命令行是很理想的。

2023-10-10 11:35:40 762

原创 修炼k8s+flink+hdfs+dlink(三:安装dlink0.6版本)

上传至目录/opt/app/dlink。

2023-10-07 15:47:59 1097

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除