![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
个人随笔
文章平均质量分 53
为一个人走几座城
这个作者很懒,什么都没留下…
展开
-
策略+工厂类替换IF ELSE
一、创建工厂类public class OpenStrategyFactory { private static final Map<String, OpenApiStrategy> STRATEGY_MAP = new HashMap<>(); // 枚举值维护 static { STRATEGY_MAP.put("businessdata", new BusinessImpl()); STRATEGY_M原创 2022-02-16 15:36:40 · 389 阅读 · 2 评论 -
flink SQL 体验遇到问题
一、报错:[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.Available fac原创 2021-10-27 14:32:40 · 5688 阅读 · 1 评论 -
log4j日志写入路径动态重定向
实际开发中,日志对于我们定位问题,快速解决问题是非常重要的,所以好的日志输出项与日志文件有效的拆分是至关重要的。最近新开发的一个项目就要求,按照不同日志级别、不同的类将信息写入到不同的文件,具体结构如图。这样通过自己在实际方法中定义输出日志级别,出现问题后直接进入到对应的类中看对应的日志信息即可。这里需要在项目中引入对应的pom依赖:<dependency> <groupId>log4j</groupId> <artifactId&原创 2020-11-11 10:01:34 · 315 阅读 · 0 评论 -
Flink两阶段提交之关系型数据库(MySQL)
最近在一边学习,一边将Flink流处理技术应用到公司的业务场景中。目前会通过采集方式将数据库的数据变更写入到Kafka,后面通过Flink处理后,落地到数仓中,因为目前数仓对外提供的是一些接口服务,所以目前还是以Oracle为主,其他的数据存放在Greenplum中。当前主要任务是将Kafka中的数据通过Flink落地到Oracle中。因为是一些交易数据,所以对数据的准确性非常敏感,Flink的强大之处就在于帮我们实现了方式来保证数据仅一次处理(Exactly-once)。这里我们抛开其他的点不说,只说Tw原创 2020-10-29 17:44:52 · 1626 阅读 · 12 评论 -
SpringBoot问题集锦:NoSuchBeanDefinitionException
学习SpringBoot的过程中,通过test方法进行测试Bean注入时,报错如下:Positive matches:----------------- CodecsAutoConfiguration matched: - @ConditionalOnClass found required class 'org.springframework.http.codec.C...原创 2019-06-27 16:44:00 · 2778 阅读 · 0 评论 -
Spark消费kafka错误集锦
一、19/07/05 00:10:05 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 2)org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for ...原创 2019-07-30 18:46:58 · 726 阅读 · 0 评论 -
Hive通过TEZ引擎执行count
Hive使用TEZ作为默认的执行引擎,当表插入完记录后,count得到的结果为0,如果使用MR作为执行引擎来执行count,结果与实际记录数一致。 使用TEZ执行count十分高效,绕过了MapReduce操作,实际结果不正确,应该是TEZ内部有某种机制count()直接查询统计信息,然后统计信息不是最新的,导致count结果不正确。hive> SELECT cou...转载 2019-06-21 10:35:29 · 1453 阅读 · 1 评论 -
Spark解析binlog日志,写入MySQL
1. 背景 由于公司业务线的不断拓展,创建了很多MySQL实例,为了安全起见每个实例之间不能直接互相访问,但是业务部门又需要整合各个业务线的数据进行分析、制定风控策略等。因此需要将不同业务线数据进行归集。 当然一下方案不是最优的,MySQL实例之间数据互通,有很多成熟且稳定的方式,因此我觉得我们选择了一种不是非常理想的方式!2. 处理流程 MySQL ——>...原创 2019-06-03 23:04:16 · 1899 阅读 · 0 评论 -
Spark开发问题集锦1
19/06/04 11:12:00 WARN DFSClient: Slow ReadProcessor read fields took 41999ms (threshold=30000ms); ack: seqno: 38596 reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 18446744031720466026 flag: 0...原创 2019-06-05 09:56:06 · 2008 阅读 · 1 评论 -
【随记】win10,系统,任务栏--工具栏--桌面,存在两个“控制面板”
如题,对于一个强迫症患者而言,如何删除这个多余的“控制面板”呢?跟着我一起: 1. 打开win + R,输入:regedit,打开注册列表。 2. 按照如下路径查找: HKEY_LOCAL_MACHINE SOFTWARE Microsoft Windows ...原创 2018-05-19 17:26:36 · 2201 阅读 · 0 评论 -
Logstash使用webhdfs插件遇到写入HDFS权限问题
当我正常启动Logstash向HDFS写入数据的时候,报错:[WARN ][logstash.outputs.webhdfs ] Failed to flush outgoing items {:outgoing_count=>1, :exception=>"LogStash::Error", :backtrace=>["org/logstash/ext/JrubyEventEx...原创 2018-05-22 23:03:28 · 2706 阅读 · 2 评论 -
用Scala处理时间和时间戳互换
时间转换为时间戳import java.text.SimpleDateFormatobject test { def main(args: Array[String]): Unit = { val tm = "2017-08-01 16:44:32" val a = tranTimeToLong(tm) println(a) } def tran...原创 2018-06-21 14:19:52 · 8411 阅读 · 1 评论 -
Spark消费kafka数据,写入Hbase错误
程序在运行,但是日志全是WARN zookeeper.ClientCnxn: Session 0x0 for server header-1.cluster-61477:2181, unexpected error, closing socket connection and attempting reconnectjava.io.IOException: Connection reset...原创 2018-08-08 18:36:54 · 943 阅读 · 0 评论 -
gson动态解析json
<!-- java版本 -->public class TestEnty {Map<String,Object> li;}package com.Company.Demo;import android.os.Bundle;import android.support.v7.app.AppCompatActivity;import android.util.L...原创 2018-09-11 16:20:38 · 533 阅读 · 0 评论 -
解决:Linux服务器时间与网络不同步问题
最近在搞测试的时候,发现服务器在和本地通信的时候,会出现超时的情况,首先排除了网络带宽的问题。然后在查看超时的服务器上的时间是发现了问题:有3台服务器的时间和本地时间相差很多。于是着手开始处理时间差。安装:yum install ntpdate成功后执行:ntpdate 210.72.145.44 --是中国国家授时中心的官方服务器IP,不是本地IP如果你成功了,恭喜你。但是...原创 2018-09-11 09:59:18 · 2859 阅读 · 0 评论 -
Shell脚本给Datax的job文件传参
当前有一个需求,读取HDFS中的分区数据,然后将数据写入到MongoDB。由于要求每次导入Mongo的是增量的数据,但HDFS中没有相应的字段对数据进行标识哪些是新增的。需要依据相应的策略去判断相应的增量数据。通过Hive的SQL将每天的全量数据与历史的增量数据进行关联(LEFT OUTER JOIN)where条件是右表的关联字段IS NULL,而关联条件是基于判重的字段组合生成M...原创 2019-05-14 14:34:10 · 4725 阅读 · 0 评论 -
欲重生, 必先浴火
2017年10月22日22时 参加工作的时间也不算短了, 总没有时间停一下. 最近总有朋友建议我, 放慢脚步回顾一下这几年的历程, 总结一下经验, 遂发布自己的第一篇博文, 为大家提供小小的帮助, 也跟大家共同进步, 相互交流. -------------- 文|贾静斯原创 2017-10-22 22:12:49 · 280 阅读 · 0 评论