- 博客(13)
- 收藏
- 关注
RSS订阅原创 Mysql8 Yum 安装
环境简介操作系统：centos8CPU架构：aarch安装步骤清除mysql相关包#列出MySQL相关的安装包 rpm -qa | grep mysql#依次删除安装包 yum remove xxx安装centos8下MySQL8的yum源#下载源wget https://dev.mysql.com/get/mysql80-community-release-el8-1.noarch.rpm#安装源rpm -ivh mysql80-community-release-el
2022-03-30 17:19:47
3578
原创 Hive 全局排序
Hive全局排序取清单CREATE TABLE tmp2 ASSELECT *FROM tmp DISTRIBUTE BY ( CASE WHEN year < 1930 THEN 0 WHEN year > 1960 THEN 2 ELSE 1 END) SORT BY (year ASC, t DESC);Hive全局排序取TopN--从表中获取name长度为TOP10的数据SELECT a.id, a.nameFROM ( SELE.
2022-03-11 14:56:27
2347
原创 Hive Join Explain
对于一下两种join方式，执行计划结果是一致的，都是只有一个MRexplain select * from tb1 t1LEFT JOIN tb2 t2 ON t1.name = t2.nameLEFT JOIN tb3 t3 ON t2.name = t3.name;explain select * from tb1 t1LEFT JOIN tb2 t2 ON t1.name = t2.nameLEFT JOIN tb3 t3 ON t1.name = t3.name;STAGE D.
2022-03-11 14:46:45
1378
原创 Idea 正则
匹配不包含abc的行^(?:(?!abc).)+$mysql查询取结果^(?:(?!\|( )*[0-9]*( )*\|).)+$空行^\s*\n
2022-02-17 18:05:50
591
原创 交换空间清理及使用率调整
交换空间 内存释放内存释放前提：当前物理内存空余空间 > 交换空间使用大小修改交换空间使用率vi /etc/sysctl.conf# 默认值为60（0-100），数值越大表示越优先使用交换空间# 增加 vm.swappiness=60sysctl -p /etc/sysctl.conf# 动态加载 /etc/sysctl.conf 文件，使配置生效释放方式：swapoff -a && swapon -a...
2022-02-09 11:43:45
1141
原创 驻留内存 虚拟内存 共享内存
虚拟内存（VIRT）驻留内存（RES）共享内存（SHR）程序在运行过程中 使用的内存地址都是虚拟内存地址 。每个进程都会在内存中有自己独立的page table 用来将虚拟内存地址映射到 物理内存地址。多个进程可能会使用共同的数据内容（.iso等），因此会出现不同进程的page table 映射到同一个物理内存地址，这些共用的物理内存即为共享内存进程的page table 是按需映射的， 因此虚拟内存 中并不是全部映射到物理内存地址，已映射到物理内存的大小即为进程的驻留内存 。因此描述一个.
2022-02-09 11:23:04
874
原创 虚拟内存 物理内存 交换空间
虚拟内存 = 物理内存 + 交换空间物理内存（Physical Memory）虚拟内存（Virtual Memory）交换空间（Swap Space）使用磁盘来作为物理内存的扩展，这样可用的内存就会增加，其中被指定的磁盘空间即为交换空间，扩展后的总内存大小即为虚拟内存大小。CPU会将暂时不用的数据内容存到交换空间内，等到需要用到时，会再将其加载进内存中。读写硬盘的速度要慢于内存读写速度数千倍。...
2022-02-09 10:36:35
732
原创 Flink 生产实践 性能问题
1. CDC 性能问题问题描述:ChunkSplitter split chunks 耗时导致CheckPoint 超时 job重启解决方案:增大CheckPoint超时间隔增大Chunk.Size(需考虑数据源压力)2. JM 和 TM 内存分配问题问题描述:当容器内存全部使用时，RM会kill 容器，重新申请容器，最终任务失败解决方案:调整内存分配策略，分别设置内存比例系数合理设置状态清理周期...
2022-01-27 20:27:36
1546
原创 Yarn-Scheduler（Fair）
Yarn-Scheduler（Fair）Fair-Scheduler1. yarn-site.xml1.1 调度策略配置1.2 任务归属队列配置1.3 抢占配置1. 4 容器分配配置2. fair-scheduler.xml2.1 队列未指定属性默认值2.2 任务选择队列配置2.3 子队列配置3. Web UI监控值Fair-Scheduler1. yarn-site.xml1.1 调度策略配置<!--选用公平调度器--><property> <name>ya
2021-08-01 23:05:09
489
原创 maven 打 可执行jar包
pom文件中直接指定main class <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> .
2021-04-30 17:39:06
148
2
原创 No ExecutorFactory found to execute the application idea2020.3 include dependencies with provided
异常:Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application原因:maven依赖添加provided解决:2020.3版本idea:其余版本:
2021-04-24 19:04:30
835
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人