大数据
数据游戏
这个作者很懒,什么都没留下…
展开
-
doris 导入遇tablet writer write failed, err=-235问题解决
doris 导入 err-235原创 2021-12-24 15:19:39 · 7108 阅读 · 2 评论 -
flink 使用jdbc批量写入
public class JdbcSinkOperator<T extends Serializable> extends AbstractStreamOperator<Object> implements ProcessingTimeCallback, OneInputStreamOperator<T, Object>{ private Map<String,List<String>> map; private ListState原创 2021-11-16 09:37:15 · 1470 阅读 · 0 评论 -
利用钉钉或者企业微信群机器人发送告警信息
使用钉钉或者企业微信群机器人发送告警信息1.因任务监控信息需要及时通知相关开发人员,所以使用钉钉或者企业微信的群机器人帮助发送告警信息及时通知相关人员。2.在使用企业微信或者钉钉机器人时需要创建或者在已有的群里自定义机器人(通过webhook接入自定义服务),钉钉需要保存群token(access_token),企业微信保存key//钉钉def urlDing = "https://oapi.dingtalk.com/robot/send?access_token=xxx";val body =原创 2021-06-12 14:57:49 · 891 阅读 · 2 评论 -
jdbc连接Phoenix问题解决
JDBC连接Phoenix报错以及解决说明:在构建实时项目中idea中使用Phoenix查询hbase维度数据时,连接建立后又发生错误,异常信息如下Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator查询后发原创 2021-05-29 17:03:33 · 1618 阅读 · 2 评论 -
记一次flink中状态使用所遇问题
记一次flink状态使用所遇问题在用flink做实时计算时,用到状态去存储一些中间数据或者结果数据,在本次项目中我要用到两个相同类型的状态,所以在做初始化时,以为描述器可以重用,所以只创建了一个描述器。//定义描述器val ttlDes = new ValueStateDescriptor[Boolean]("ttl", classOf[Boolean])//初始化ttlState = getRuntimeContext.getState[Boolean](ttlDes)subjectState原创 2021-05-11 18:02:40 · 305 阅读 · 0 评论 -
Flink 1.12-SQL
Flink 1.12 SQL 应用1.mysql实时数据与kafka更新的维度数据进行关联,补全维度后输出到dwd层kafkaimport org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;impor原创 2021-04-23 15:45:09 · 868 阅读 · 0 评论 -
kafka外部访问失败
kafka外网读写失败当使用java对kafka进行读写时一直连接超时,定位问题是因为外部ip:9092访问不通,当使用内网时可以访问#使用映射可以通telnet kafka 9092#换成ip不行telnet ip 9092查看配置文件也正常listeners=PLAINTEXT://kafka:9092# Hostname and port the broker will advertise to producers and consumers. If not set,# it us原创 2021-04-19 17:40:36 · 1091 阅读 · 0 评论 -
flink中listState删除指定value
Flink中listState删除指定valueFlink作为流批统一的计算框架,其中有一大特点就是它的状态编程,利用状态编程可以省去部分中间存储系统,当我们使用ListState存储一些中间结果时,有时候避免不了要删除指定的状态,以下为指定删除value的一段实现代码import java.langimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.common.state原创 2021-03-30 15:27:28 · 1539 阅读 · 3 评论 -
hive中关于表的一些操作指令
hive表操作1.建表 CREATE TABLE `test_part_category`( > rowkey string COMMENT 'hbase中rowkey', > mid string, > market_id bigint, > code string, > key string, > value string, > create_time string COMMENT原创 2020-11-13 09:26:25 · 253 阅读 · 0 评论 -
记一次canal抽取mysql的binlog日志到kafka环境搭建
记一次调研canal抽取mysql的binlog日志到kafka环境搭建1.mysql相关配置1.canal的原理是基于mysql binlog技术,需要开启mysql的binlog写入功能,并且配置binlog模式为row.#mysql启动操作指令service mysqld startservice mysqld statusservice mysqld stop2.开启mysql的binlog功能:[mysqld]datadir=/var/lib/mysqlsocket=/var原创 2020-08-30 17:38:06 · 645 阅读 · 0 评论 -
Kylin中使用Api构建cube以及状态监控脚本
Kylin中使用RESTful API 每日构建cube以及进行状态监控1.认证目前Kylin使用basic authentication。给第一个请求加上用于认证的 Authorization 头部。POST http://localhost:7070/kylin/api/user/authenticationAuthorization:Basic xxxxJD124xxxGFxxxSDFContent-Type: application/json;charset=UTF-82.跟踪原创 2020-05-25 15:53:17 · 842 阅读 · 0 评论 -
flink常用算子以及window
Flink 窗口种类以及常用算子使用flink有以下几类窗口:Tumbling Windows滚动窗口长度固定,滑动间隔等于窗口长度,窗口元素之间没有交叠。// tumbling event-time windowsinput .keyBy(<key selector>) .window(TumblingEventTimeWindows.of(Time.sec...原创 2020-05-07 18:11:36 · 846 阅读 · 0 评论 -
Azkaban报错解决
Azkaban报错以及解决说明:使用Azkaban调度执行脚本时遇到的错误以及解决办法问题一:FAILED: ParseException line 16:36 cannot recognize input near 'else' 'type' 'end' in expression specification该原因是由于执行的脚本中运行的是hive操作,在hive -e “ ”语句中...原创 2020-04-01 19:18:23 · 2443 阅读 · 0 评论 -
数仓ods分区总结
表概念1.全量表:用来记录当前所有事物的最新信息,包括变化的和没有变化的.2.增量表:用来记录事务的有变化的量。只记录有变化的没有变化的不需要记录.3.快照表:快照表是有时间分区的,每个分区里面的数据都是分区时间对应的前一天的所有全量数据.4.拉链表: 记录一个事物从开始,一直到当前状态的所有变化的信息.不分区保留历史数据方式以及计算影响ods层新增数据插入到原表中,这样原表中会保存...原创 2020-03-16 10:52:45 · 3171 阅读 · 0 评论 -
Apache Impala总结
Impala 基于hive,使用内存计算,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。Impala适合用来处理输出数据适中或比较小的查询。组件简绍Impala Statestore :检查集群各个节点上Impala daemon的健康状态,同时不间断地将结果反馈给各个Impala daemonImpala Catalog :分发hive 的元数据信息到 Imp...原创 2020-02-24 22:04:41 · 635 阅读 · 0 评论 -
Flink 1.9 Table API -kafkaSource
Flink 1.9 Table API -kafkaSource 使用kafka作为flink的数据源对接flink Table,本次测试使用的是单节点的kafka以及flink,以下为一次简单的操作,包括kafka主题的创建、订阅、发布以及具体的小案例kafka中主题的创建[root@CentOSA kafka_2.11-2.1.0]# bin/kafka-topics.sh --cre...原创 2020-02-17 14:16:29 · 681 阅读 · 0 评论 -
Flink 1.9 Table API & SQL 2
Flink 1.9 Table API & SQL 2Table API是用于流和批处理的统一关系的API,以下为对同一种需求的三种简单的不同使用形式需求:求每个用户的订单总额1.使用tableEnv.registerTableSource()进行表的注册import org.apache.flink.api.common.typeinfo.{TypeInformation, Ty...原创 2020-01-31 19:58:54 · 1797 阅读 · 0 评论 -
flink-1.9.1单机版环境的搭建
Flink基础环境本次安装Flink版本为flink-1.9.1,可以点击此链接直接下载https://www.apache.org/dyn/closer.lua/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz前提条件1.安装JDK[root@CentOSA ~]# rpm -ivh jdk-8u191-linux-x64.rpmwar...原创 2020-01-27 19:49:25 · 1200 阅读 · 0 评论