大数据
jr-create(•̀⌄•́)
这个作者很懒,什么都没留下…
展开
-
flink sql 1.14 使用sql创建Kakfa动态表
需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>o原创 2022-04-24 08:33:46 · 1088 阅读 · 0 评论 -
StructedStreaming显示完整的列内容
watermarkDF.writeStream .format("console") .outputMode("update") // TODO: 显示完整列内容 .option("truncate", "false") .start().awaitTermination() .outputMode(“update”) // TODO: 显示完整列内容原创 2021-12-29 16:02:37 · 296 阅读 · 0 评论 -
HBase版本对应的Hadoop(应对版本不匹配问题)
网址http://hbase.apache.org/book.html#standalone_dist原创 2021-04-30 20:09:00 · 374 阅读 · 1 评论 -
kafka群起脚本失败
脚本代码: #!/bin/bash case $1 in "start"){ for i in hadoop01 hadoop02 hadoop03 do echo "-----------$i Kafka start------------------" ssh $i "/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/serv原创 2021-04-22 21:47:36 · 495 阅读 · 0 评论 -
Zookeeper集群启动脚本
vim zkstart.sh zkstart.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi if [ $1 = "start" -o "stop" -o "status" ] then #集群名 for i in hadoop01 hadoop02 hadoop03 do echo "-----------...原创 2021-04-17 19:32:12 · 110 阅读 · 0 评论 -
beeline连接失败(xxx is not allowed to impersonate xxx)
WARN jdbc.HiveConnection: Failed to connect to hadoop01:10000 Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop01:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop原创 2021-04-09 22:19:43 · 774 阅读 · 2 评论 -
切片方法总结
四种切片方法TextInputFormatKeyValueTextInputFormatNLineInputFormatCombineFileInputFormat TextInputFormat TextInputFormat为默认的切片方法 切片方式: 一次读取一行 一行数据按照分隔符进行切片 KeyValueTextInputFormat 切片方式: 按照分割符 NLineInputFormat 切片方式: 一次读取多行 CombineFileInputFormat 切片方式:原创 2021-03-28 17:07:55 · 849 阅读 · 0 评论 -
CombineTextInputFormat切片过程
CombineTextInputFormat 用于小文件过多的场景 过程: 首先将输入目录下所有文件大小,依次和设置的 setMaxInputSplitSize 值比较, 如果小于设置的最大值,逻辑上划分一个块。 如果大于设置的最大值且大于两倍,则以最大值切割一块; 当剩余数据大小超过最大值且不大于最大值2倍,此时将文件均分成 2 个虚拟存储块(防止出现太小切片) 测试举例: 1、setMaxInputSplitSize 值为 4M 有 4 个小文件大小分别为 1.7M、5.1M、3.4..原创 2021-03-28 16:58:41 · 167 阅读 · 0 评论