青春不流名-CSDN博客

原创 spark-sql建表数据同步到hive

INSERT INTO paimon.my_db.my_table VALUES (1, 'M', 173.5,'北京市朝阳区'), (2, 'G',185, '上海市'), (3, 'cherry', 168.0,'河北省秦皇岛市');备注需要将将paimon-hive-connector-3.1-0.9.0.jar上传到hive的lib目录下/cluster/hive/lib。-- 在已建立的paimon catalog中，建立数据库。-- 向Paimon中写入数据。-- 建立Paimon表。

2024-09-30 18:09:18 825

原创 centos72009源码编译R语言

问题5：configure: error: PCRE2 library and headers are required, or use --with-pcre1 and PCRE >= 8.32 with UTF-8 support。例如：--with-blas=/usr/lib64/libblas.so。问题3：configure: error: --with-x=yes (default) and X11 headers/libs are not available。指定 R 安装的基础目录。

2024-09-27 23:42:29 867

原创 Elasticsearch UNASSIGNED 怎么修复

集群健康值为 "yellow" 通常表示集群的主节点正常工作，但有一些副本分片没有分配。具体来说，"357 of 360" 表示总共有 360 个分片，其中 357 个处于正常状态，3 个副本分片未分配。

2024-09-27 11:08:05 445

原创解决 GitHub 文件大小限制的问题

要解决 GitHub 文件大小限制的问题，可以使用 Git Large File Storage (Git LFS)。替换为你的目标分支名称。完成后，你就可以在 GitHub 上管理大文件了。：在你的项目目录中，运行以下命令来追踪。

2024-09-25 23:19:38 297

原创完整的ASCII表，包含所有从0到127的字符

十进制十六进制字符描述 0 00 NUL 空字符 1 01 SOH 标题开始 2 02 STX 正文开始 3 03 ETX 正文结束 4 04 EOT 传输结束 5 05 ENQ 询问 6 06 ACK 确认 7 07 BEL 响铃 8 08 BS 退格 9 09 TAB

2024-09-25 16:57:08 492

原创列式存储格式

这些列式存储格式和数据库在性能、压缩率和数据处理能力上各有不同，适用于不同的应用场景。：专为大数据处理而设计，支持高效的数据压缩和编码，适用于 Hadoop 生态系统。：一种数据仓库服务，使用列式存储来优化性能，适合处理大量数据分析。：虽然是一个分析服务，但使用了类似列式存储的技术来优化查询性能。：专注于大规模数据分析的列式数据库，提供高性能的查询和分析功能。：一款开源列式数据库，专为快速数据分析而设计，支持高并发查询。：一种专注于快速读取的列式数据库，支持高效的分析查询。

2024-09-25 14:53:34 282

原创 Install Compose standalone

【代码】Install Compose standalone。

2024-09-13 22:55:38 449

原创 11121213

EOF。

2024-09-12 21:35:06 408

原创 ./kk create cluster --with-kubernetes v1.26.0 --with-kubesphere v3.4.1 --container-manager container

修改 /etc/containerd/config.toml文件。

2024-09-10 22:59:07 744

原创 MySQL连接URL

url: jdbc:mysql://localhost:3306/streampark?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2B8

2024-09-05 18:54:43 150

原创 Linux查看系统用户

这些命令可以帮助你获取系统用户信息的不同视图。这将列出系统上的所有用户账户及其基本信息。为你要查询的用户名称。

2024-09-04 23:03:37 354

原创 -bash: ./log.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录

工具将脚本文件中的 CRLF（Windows 风格）换行符转换为 LF（Unix 风格）dos2unix log.sh。这个错误通常是由于脚本文件中的换行符格式不正确。命令将文件格式转换为 Unix 风格，然后保存文件。这些步骤应能解决坏的解释器问题。

2024-08-31 22:31:48 365

原创批量删除NodePorts 状态的pod

kubectl get pod -n namespace| grep NodePorts | awk '{print $1}' | xargs kubectl delete pod -n csg

2024-08-31 20:31:31 143

原创什么是Distroless镜像

Distroless镜像的核心理念是将镜像体积减小到最小，同时提高安全性。传统的Docker镜像通常包含完整的操作系统及其各种工具和库，但这些工具和库在生产环境中可能并不需要。Distroless镜像通过只包含应用程序及其运行所需的最低限度的依赖，来减少攻击面和安全风险。是指使用Distroless镜像的Dockerfile。这种镜像旨在提高安全性和减少镜像体积，通过去除操作系统及不必要的工具，只保留运行应用程序所需的最小环境。

2024-08-29 16:00:04 368

转载 Centos7的x86上构建arm镜像docker

1、yum install -y docker-buildx-plugin2、 docker buildx create --use3、docker buildx build --platform linux/arm64 -t graylog-log-sidecar-collector:latest .

2024-08-27 23:38:39 371

原创麒麟sp1 rpm包下载地址

Index of /NS/V10/V10SP1/os/adv/lic/base/aarch64/Packages/ (cs2c.com.cn)

2024-08-20 23:42:11 155

原创安装NFS扩展

apisix-httpbin 应用路由指定的域名>:<apisix-gateway 外部访问端口>（例如此处为 httpbin.ui:30408）即可访问到 apisix-httpbin 应用路由所关联的后台服务。--set nfs.path=/home/data/nfs-share/ \ #指定nfs的共享目录。--set storageClass.name=nfs-sc-default #指定sc的名字。#解压后可以看到values.yaml。

2024-08-15 23:37:24 377

原创通道（channel）传递数据的例子写一个

【代码】通道（channel）传递数据的例子写一个。

2024-08-14 22:59:42 304

原创 hudi sql

DROP TABLE IF EXISTS hudi;CREATE TABLE hudi(ts BIGINT, uuid VARCHAR(40) PRIMARY KEY NOT ENFORCED, rider VARCHAR(20), driver VARCHAR(20), event VARCHAR(255), fare DOUBLE, process BIGINT, city VARCHAR(20)) PARTITIONED BY (`city`) WITH ('connector' = 'hudi',

2024-08-11 17:20:51 438

原创 jvm参数

JAVA_OPTS: -server -Xms1g -Xmx1g -Xmn512m -XX:+ExitOnOutOfMemoryError -XX:+HeapDumpOnOutOfMemoryError -XX:+IgnoreUnrecognizedVMOptions -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+PrintGC -XX:+UseGCLogFileRotation -XX:GCLogFileSize=50M -XX:NumberOfGCL

2024-08-03 13:50:43 187 1

原创 docker file redis

FROM centos:7ENV MYPATH /dataWORKDIR $MYPATHRUN mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bakRUN rm -rf /etc/yum.repos.d/*RUN curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoRUN sed -

2024-07-30 00:41:38 411

原创 mysql创建数据库的SQL

CREATE DATABASE IF NOT EXISTS dbname DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_general_ci;

2024-07-27 16:50:54 387

原创 jstat -gc 60120 5000 100

这些参数和缩写通常是用于描述 Java 进程的内存使用情况和垃圾收集（GC）活动统计的指标，通常是从 JDK 提供的工具或者 JVM 的性能监控工具输出的结果。这些参数通常用于分析 Java 进程的内存分配、使用情况以及 GC 活动的频率和效率。通过这些数据，可以评估应用程序的内存需求、性能瓶颈和优化方向。

2024-07-26 11:29:11 372

原创数据湖ods是什么意思

数据湖是一个存储大量原始和结构化数据的系统或存储库，数据以其原始格式存储，而不需要预定义的数据结构。数据湖允许存储所有类型的数据，包括结构化数据（如关系数据库中的表）、半结构化数据（如日志文件或XML数据）和非结构化数据（如文本文件或图像文件）。数据湖的目标是提供一个灵活的数据存储解决方案，以便于数据分析、数据挖掘和机器学习等应用的进行。

2024-07-18 14:08:39 483

原创其取其实打实打算

f.close();f.close();f.close();

2024-07-16 23:43:14 286

原创 pulsar单节点能开启事务吗？是不是真的

Apache Pulsar 支持事务，但是需要在分布式模式下运行。单节点模式下不支持 Pulsar 事务。事务功能在 Pulsar 中依赖于分布式的 BookKeeper 存储服务，以确保事务的持久性和可靠性。综上所述，要使用 Apache Pulsar 的事务功能，必须在分布式模式下部署 Pulsar，并配置好 BookKeeper。单节点模式不支持 Pulsar 的事务。

2024-07-05 17:31:07 320

原创 FeignClient配置

如果你的应用中有多个相同类型的 Bean（例如多个 Feign 客户端接口），并且你希望某一个 Feign 客户端在注入时具有优先权，则可以通过设置 primary = true 来确保它被优先选择。* 如果有特定情况需要另外的 Feign 客户端优先注入，你可以根据实际情况设置不同的 primary 属性值，或者通过其他手段指定具体的 Bean。* 主要的 Bean 在自动装配时具有优先权，如果没有明确指定注入哪一个 Bean，则会选择主要的 Bean。* 默认是primary = true。

2024-07-01 11:21:41 393

原创 redis命令

集群正常的时候，设置host是：redis-cluster.demo.svc.cluster.local。上面是启动redis的所有节点。

2024-06-30 21:32:12 271

原创部署startRocks集群

向集群中添加新的 Follower FE 节点时，您必须在首次启动新 FE 节点时为其分配一个 helper 节点（本质上是一个现有的 Follower FE 节点）以同步所有 FE 元数据信息。您可以通过在相应实例上运行以下命令来停止 StarRocks 集群。搭建成了集群模式，三个节点都要执行下面的命令。202上部署flink、201上部署mysql。1、先启动一个fe leader（201）201、202、203上执行。201、202、203上执行。2、启动所有be、cn。4、注册fe实现高可用。

2024-06-30 21:25:20 509

原创 bcprov-jdk15on和bcpkix-jdk15on有什么区别

都是 Bouncy Castle 密码库的不同组件，针对不同的用途和功能。在实际使用中，你可能会根据具体的安全需求和功能要求选择使用。，或者两者都使用，以满足不同的安全操作和证书管理需求。

2024-06-28 11:41:36 1213

原创 k8s部署consul简易版

metadata:spec:selector:template:metadata:labels:spec:ports:command:- "-c"name: dataspec:resources:requests:---metadata:spec:ports:port: 8500selector:---metadata:labels:

2024-06-28 10:00:37 295

原创 StarRocks集群部署文档

手动部署 StarRocks | StarRocks

2024-06-27 09:52:14 273

原创 spi service实现类加载代码

/spi机制加载类。

2024-06-17 22:24:09 252

原创 flink读取hive写入http接口

在这种模型中，当一个类需要被加载时，首先会从父类加载器开始查找，如果父类加载器能够找到并加载该类，那么就直接使用父类#加载器加载的类，不再尝试由当前类加载器自己加载。log.info("加载org.apache.flink.table.planner.delegation.DialectFactory类的路径是 === {}", jarPath2);#相对应的，还有另一种类加载器委派模型叫做 #"child-first"，在这种模型中，类加载器会首先尝试自己加载类，只有在自己无法加载时才委托给父类加载器。

2024-06-08 22:45:19 1267

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

windows10使用qemu搭建arm系统的虚拟网卡驱动安装包

scala编写，以spark stream方式监听消费kafka的topic，同步写入elasticsearch

spring-boot-clint webservice调用服务的例子

spring-boot-webservice例子

nfs-subdir-external-provisioner安装文件

k8s-gitlab-ci-demo

flink消费kafka数据存储到elasticsearch的演示deno

commons-cli-1.5.0.jar

flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar

空空如也