xiaoyixiao_的博客

大数据技术-Flume学习笔记

大数据技术-StreamX学习笔记

大数据技术-Superset学习笔记Superset

大数据技术-Azkaban学习笔记

大数据技术-Atlas学习笔记

大数据技术-数据采集组件学习笔记

中间件-Zookeeper学习笔记

大数据技术-Kerberos学习笔记

大数据技术-Phoenix学习笔记

大数据技术-HBase学习笔记

大数据技术-FlinkCDC学习笔记

大数据技术-Doris学习笔记

大数据技术-Hive学习笔记

HIVE支持中文显示create table test_user(`id` string comment '编号',name string comment '姓名')comment '用户表'row format delimited fields terminated by '\t';insert into table test_user values('1','笑一笑');在mysql里修改metastore库对应的字符集为utf8解决desc命令注释中文乱码：修改hive存储在my

实时入湖

大数据技术-Hudi数据湖学习笔记

Hudi数据湖-Flink、Spark湖仓一体、实时入湖保姆级教学

Hadoop安装一套完结

目录MapReduce概述MapReduce定义MapReduce优点MapReduce缺点MapReduce核心思想MapReduce完整进程常用数据序列化类型初识MapReduce之WordCount实操MapReduce 编程规范引入依赖配置日志级别log4j.properties编写Mapper类编写Reducer类编写Driver驱动类本地测试集群测试序列化核心框架原理压缩常见问题解决方案MapReduce概述MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发

目录HDFS的常用命令实操基本语法上传下载HDFS直接操作HDFS 的 API 操作下载依赖工具包配置HADOOP_HOME环境变量搭建工程HDFS抽取常用代码段HDFS创建目录HDFS 文件上传HDFS 文件下载HDFS 文件更名和移动HDFS 删除文件和目录HDFS 文件详情查看HDFS 文件和文件夹判断HDFS的常用命令实操基本语法hadoop fs 具体命令hdfs dfs 具体命令上传-moveFromLocal：从本地剪切粘贴到 HDFShadoop fs -moveFrom

大数据技术-Spark学习笔记

flink on k8s提交任务

目录资源配置调优Task Manager内存模型分配CPU资源并行度设置状态及CheckPoint调优RocksDB大状态调优CheckPoint设置反压处理数据倾斜处理Job优化FlinkSQL调优常见故障排除资源配置调优资源配置概述Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定官

目录Flink部署Linux集群版Flink任务提交方式Flink运行架构Flink部署Linux集群版修改flink-conf.yaml，指定master节点地址修改masters，配置master信息修改workers，配置worker信息分发配置到集群下，启动bin/start-cluster.sh访问http://bigdata100:8081可以对flink集群和任务进行监控管理Flink任务提交方式直接flink启动任务flink run -c czs.study.Wo

Flink部署Linux集群版修改flink-conf.yaml，指定master节点地址修改masters，配置master信息修改workers，配置worker信息分发配置到集群下，启动bin/start-cluster.sh访问http://bigdata100:8081可以对flink集群和任务进行监控管理Flink任务提交方式直接flink启动任务flink run -c czs.study.WordCount –p 2 flink-study.jar --host lc

flink日志实时采集写入Kafka/ElasticSearch

Hudi+MinIO+JuiceFS存算分离