![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大数据相关组件的一些使用
MIDSUMMER_yy
无代码不成书
展开
-
FlinkCDC读取mysql的表写入kafka/doris/iceberg
FlinkCDC读取mysql的表写入kafka/doris/iceberg原创 2023-04-04 15:15:45 · 997 阅读 · 0 评论 -
Hive 两个分区表之间的数据复制
Hive 两个分区表之间的数据复制原创 2023-02-01 15:35:14 · 636 阅读 · 0 评论 -
flink 自定义Bucketer 实现写入hdfs对应的实时分区
flink 自定义Bucketer 实现写入hdfs对应的实时分区原创 2022-12-01 16:35:44 · 683 阅读 · 0 评论 -
Spark scala编程练习题——统计百分比
Spark scala编程练习题——统计百分比原创 2022-11-30 16:53:11 · 507 阅读 · 0 评论 -
Spark scala编程练习题——HanLP分词统计热词
Spark scala编程练习题——HanLP分词统计热词原创 2022-11-30 10:35:21 · 855 阅读 · 0 评论 -
Spark scala编程练习题——通过日志统计网站访问量
Spark scala编程练习题——通过日志统计网站访问量原创 2022-11-30 10:10:56 · 1604 阅读 · 1 评论 -
hadoop启停脚本 myhadoop.sh | 文件分发脚本 xsync
hadoop启停脚本 myhadoop.sh | 文件分发脚本 xsync原创 2022-08-19 15:10:16 · 4859 阅读 · 0 评论 -
ogg for bigdata 写入 kafka 写入hbase
ogg for bigdata 写入 kafka 写入hbase原创 2022-07-29 17:10:00 · 6059 阅读 · 1 评论 -
linux docker 安装 elasticsearch 和 kibana
linux docker 安装 elasticsearch 和 kibana原创 2022-07-28 15:20:10 · 5953 阅读 · 0 评论 -
Hbase 查询命令 条件筛选
Hbase 查询命令 条件筛选原创 2022-07-27 17:54:59 · 12411 阅读 · 2 评论 -
java 读取kafka指定offset的内容
java 读取kafka指定offset的内容原创 2022-07-25 17:12:07 · 7093 阅读 · 0 评论 -
java 读取hdfs 写入kudu
java 读取hdfs 写入kudu原创 2022-07-22 11:19:20 · 5667 阅读 · 0 评论 -
Spark 写入带Kerberos认证的Hbase 重写源码的TableOutputFormat实现 | Spark 2.4.3
Spark 写入带Kerberos认证的Hbase 重写源码的TableOutputFormat实现 | Spark 2.4.3原创 2022-07-11 17:06:49 · 6145 阅读 · 1 评论 -
java 读取 带密码的 elasticsearch scroll翻页
java 读取 带密码的 elasticsearch scroll翻页原创 2022-07-22 16:37:22 · 5763 阅读 · 0 评论 -
OGG日常操作
OGG日常操作原创 2022-07-09 10:34:38 · 6099 阅读 · 0 评论 -
Hbase的使用技巧
一些hbase的日常操作原创 2022-07-08 11:36:58 · 7554 阅读 · 0 评论 -
Hive 常用命令 | 表操作 | 分区操作 | 数据导入 | 权限处理 | 查看锁 | 解锁 | 多字符分隔符建表
Hive 常用命令 | 表操作 | 分区操作 | 数据导入 | 权限处理 | 查看锁 | 解锁 | 多字符分隔符建表原创 2022-07-11 21:48:04 · 6282 阅读 · 4 评论 -
Flink 1.12 读取kafka 写入Kudu | 自定义KuduSink | 含源码 | Apache kudu
Flink 1.12 读取kafka 写入Kudu | 自定义KuduSink | 含源码 | Apache kudu原创 2022-07-22 17:10:04 · 6639 阅读 · 1 评论 -
java 解析hiveserver2日志 解析HiveSQL 获取表的使用次数 热度
java 解析hiveserver2日志 解析HiveSQL 获取表的使用次数 热度原创 2022-07-22 10:04:05 · 6174 阅读 · 0 评论 -
Sqoop参数说明
Sqoop参数说明原创 2022-06-06 18:02:07 · 5513 阅读 · 0 评论 -
Flink1.12读取Kafka数据写入到Hdfs | 含maven依赖 | FileSink
flink1.12读取kafka数据写入到hdfs,使用FileSink方式后续会再分享一些其他flink的链路原创 2022-07-10 12:25:51 · 7347 阅读 · 0 评论 -
Flink 1.12 读取kafka 写入hbase | 自定义HbaseSink | 含源码
Flink 1.12 读取kafka 写入hbase | 自定义HbaseSink | 含源码原创 2022-07-11 15:25:38 · 6699 阅读 · 0 评论 -
java mapreduce 读hbase数据 写入hdfs 含maven依赖
java mapreduce 读hbase数据 写入hdfs 含maven依赖原创 2022-07-25 17:37:23 · 6023 阅读 · 2 评论 -
HiveSQL运行优化 | Hive参数类优化,SQL优化类【精选内容】
一、Hive参数类优化控制MapReduce的map数 ---建议设置set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;但是当文件行数过多,上面合并设置反而会导致并发减小,导致速率变慢,也可以进行合并,合并后再进行设置合并文件的大小set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;set mapreduc原创 2022-05-17 16:44:57 · 5764 阅读 · 0 评论 -
Kafka Topic 12个操作汇总|生产者如何保障不丢数据
查看单个消费者组的进度:kafka-consumer-groups.sh --bootstrap-server xxx --describe --group xxx创建topickafka-topics.sh --create --zookeeper xxx --replication-factor 2 --partitions 1 --topic xxx对已创建topic参数调整接收消息大小kafka-configs.sh --zookeeper xxx --alter --t.原创 2022-05-25 18:13:45 · 5568 阅读 · 0 评论 -
Flink 的一些相关设置 | 开启rocksdb的ck、查看进程信息、取消任务
配置项 TaskManager 配置参数 JobManager 配置参数 Flink 总内存 taskmanager.memory.flink.size jobmanager.memory.flink.size 进程总内存 taskmanager.memory.process.size jobmanager.memory.proc....原创 2022-05-10 15:38:50 · 6030 阅读 · 1 评论