也许就是这样-CSDN博客

原创 impala c++ udf 函数

impala C++ urldecode udf 函数涉及到知识盲区，犯了一个挺严重的错误，创建了一个impala c++ udf，逻辑使用了Assert，触发此函数导致好几台的impalad进程结束原因：impala底层是用C++实现，触发Assert(0)，相当于结束进程，大家慎用！！！UrlDecode.cc#include "string"#include "UrlDecode.h"#include <iostream>#include <sstream>#i

2024-01-26 21:40:49 412 1

原创 clickhouse 22.8.12.45 详细部署

先备份下：cp /etc/clickhouse-server/users.d/default-password.xml /etc/clickhouse-server/users.d/default-password.xml_bak。将以上密码修改到 /etc/clickhouse-server/users.d/default-password.xml。下载地址：https://packages.clickhouse.com/rpm/stable/本文使用 sha256加密，官方推荐。

2024-01-19 00:10:21 539 1

原创第一本Docker书-笔记

1.镜像，引导文件系统，分层2.docker commit，保存容器状态，Dockerfile比较主流3.docker inspect，查看容器详情4.Dockerfile 分层构建，默认带有缓存，–no-cache不使用缓存6.docker history，查看镜像构建过程7.docker port，查看暴露端口8.docker top，查看容器内部进程9.docker0网卡，连接宿主机桥梁，一般用172.16~172.30网段...

2022-03-12 17:33:56 636

原创 ambari-kafka 开启 sasl 认证

创建 kafka_server_jaas.confvim /opt/kafka_server_jaas.conf#其中kafka为admin用户，格式：user_用户名="密码"KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-secret" user_kafka="kafka-secret" user_t

2021-12-25 17:39:02 1229

原创 Linux 用户进程打开文件数和进程数

说明：linux 中，每个用户限制线程数，每个线程限制文件打开数，配置如下：查看 964 这个进程文件打开数lsof -p 964 | wc -l碰到问题（error: too many open files），解决方案如下：ulimit -n 每个进程可以打开的文件数目ulimit -n 65535 即时修改，重启失效，ulimit -SHn 65535 等效 ulimit -n 65535，-S指soft（软件资源限制），-H指hard（硬件资源限制）在 /etc/security/l

2021-12-01 21:00:02 2201

原创修改 docker /dev/shm 的大小

启动时通过 --shm-size 参数指定docker run -it --shm-size="1g" --name 001 busybox:latest /bin/sh容器启动后修改1.docker ps | grep containerName2.获取完整 Id[root@linfs-bigdata containers]# docker inspect 641ae8c59c0d | grep Id "Id": "641ae8c59c0d20814d489cdc17a32f6

2021-10-25 23:43:04 2356

原创 Hive 3.1 ACID 事务，踩坑

使用 spark2.3.2 + hive3.1.0（HDP3.1.5）① Hive 3.x 之后，内部表是支持 ACID 特性，且只支持 ORC 格式；插入式事务（仅插入事务生效），格式没有限制，配置如下两个参数：hive.create.as.insert.only=truemetastore.create.as.acid=true② 在 spark-sql 创建的都是外部表，可以获取到内部表，但是插入不了数据，报错如下：spark-sql> insert into info1 valu

2021-10-20 23:04:24 2141

weixin_43545410的博客