大数据
文章平均质量分 94
Tianyi_1998
这个作者很懒,什么都没留下…
展开
-
Spark 内存模型
文章目录环境参数Executor 内存划分堆内内存(On-Heap Memory)堆外内存(Off-Heap Memory)动态调节机制Task 能申请到的内存环境参数spark 内存模型中会涉及到多个配置,这些配置由一些环境参数及其配置值有关,为防止后面理解混乱,现在这里列举出来,如果忘记了,可以返回来看看:spark.executor.memory :JVM On-Heap 内存(堆内内存),在使用 spark submit 提交的时候,可以通过配置 --executor-memory 来对这个原创 2021-03-17 23:46:21 · 4723 阅读 · 0 评论 -
鲲鹏 ARM 架构编译 ClickHouse 记录(最全)
鲲鹏 ARM 架构编译 ClickHouse 记录目录环境要求Yum 安装相关依赖升级 GCC 到 9.3.0坑 1:GCC 更新后,系统库也要更新编译安装 CMake编译安装 Git编译安装 ClickHouse从 GitHub 克隆准备编译操作坑2:修改 ClickHouse/contrib/zlib-ng/CMakeLists.txt 文件开始编译安装添加缺失文件参考博客环境要求软硬件参数CPU鲲鹏 920内存>= 8GB硬盘>= 100GB(编原创 2020-10-22 18:33:40 · 6501 阅读 · 28 评论 -
配置 ClickHouse 用户权限
配置 CK 用户权限上接 ClickHouse 高可用集群搭建1. 删除 metrika.xml 中的远程连接配置这个文件配置到了 config.xml 文件中的 <include_path> 标签中,如果在 metrika.xml 中配置了 <networks> 就删了,没有配置就可以跳过<!-- 把这个删除掉 --><networks> <ip>::/0</ip></networks>2. 配置原创 2020-09-23 16:46:02 · 1760 阅读 · 0 评论 -
ClickHouse 高可用集群搭建
ClickHouse 高可用集群搭建本文为作者手把手搭建 CK 集群记录,且搭建成功,但该集群环境为 QA,所以最后没有配置密码1. 下载安装包通过官网提供的地址下载clickhouse-client-20.3.15.133-1.el7.x86_64.rpmclickhouse-common-static-20.3.15.133-1.el7.x86_64.rpmclickhouse-server-20.3.15.133-1.el7.x86_64.rpmclickhouse-server-com原创 2020-09-22 18:31:43 · 1502 阅读 · 0 评论