Java回调实现

首先要定义一个回调方法的接口: public interface CallBackListener { /** * 回调通知函数 */ void callBackNotitify(String msg); } 然后需要定义一个调用函数,用于异步调用某个方法: ...

2019-05-15 17:41:50

阅读数 14

评论数 0

Flink异常问题提总结

Flink在执行过程中突然异常退出 Sink: time-kafka(1/1) switched to SCHEDULED 04/29/2019 10:10:20 Job execution switched to status FAILING. org.apache.flink.runt...

2019-04-29 14:30:09

阅读数 76

评论数 0

pydruid的requirements.txt

pydruid prompt-toolkit-1.0.15 pygments-2.3.1 tabulate-0.8.3

2019-04-23 14:21:32

阅读数 19

评论数 0

mac下使用HomeBrew更改python版本

早上突然发现自己mac环境下的python3.6创建的虚拟环境无法使用了,报下面的错误 /Users/icsoc/.virtualenvs/ctirandomdatatest/bin/python /Users/icsoc/work/code/bi-python/alert_check/check...

2019-04-23 09:55:34

阅读数 110

评论数 0

mysql批量更新某个字段

update druid_segments set payload = replace(payload,‘oss://icsoc-emr-hadooposs://icsoc-emr-hadoop/druid-test/segments/TEST-CTI-PT30M-PT1H/’,‘oss://i...

2019-03-22 14:51:33

阅读数 160

评论数 0

druid.oi之Group BYJSON查询语法

{ "queryType": "groupBy", "dataSource": "DEV-MONITOR-PT1S-PT1H", "threshold": 10, &...

2019-03-22 13:44:02

阅读数 39

评论数 0

druid.io之merge task

在开发过程中,由于刚刚使用druid.io时,数据量比较小,所以如果按照小时来存储结果,发现每个segments只有几兆的大小,这种大量的小文件不适合在HDFS集群上进行深度存储,同时也会降低查询性能等等,所以迫切需要一种方案对segment进行数据合并,在查询druid.io的配置参数时,发现d...

2019-02-26 14:37:33

阅读数 99

评论数 0

druid.io数据迁移

在druid.io的开发过程中,遇到需要将druid.io的某个dataSource数据迁移到另外一个集群的问题,在开发过程中,发现一种解决方式,其具体实步骤如下: 第一步:将需要迁移的dataSource的segment复制一份到另外一个druid.io集群的segment存储目录下,我们是存在...

2019-02-22 17:01:08

阅读数 105

评论数 0

Avro在HDFS中的追加实现

在HDFS上写入Avro文件的实现如下: 第一步:需要定义写入到文件的scheme private static final String SCHEMA_JSON = "{\"type\": \"record\&...

2019-02-15 10:06:24

阅读数 113

评论数 0

java接口在1.8.0中新增了default关键字

今天在看druid.io的源码的时候,发现在接口中竟然可以是用default关键字,并且可以在接口中实现方法体.查询资料发现default是JDK1.8中新增的,这种发破了原来java对接口语法的闲置. public interface Jobby { boolean run(); ...

2019-02-14 14:59:09

阅读数 22

评论数 0

pytest安装并且生成好看的HTML报告

第一步: (1)单独建立一个python环境: mkvirtualenv pytest --python=python3 (2)执行命令,切换python工作环境为pytest 第二步:直接安装pythest模块到新环境中: pip3 install pytest 第三步:安装allure: br...

2019-01-31 15:50:42

阅读数 185

评论数 0

FlinkSQL读取kafka些消息,并且对消息计数实现

import com.alibaba.fastjson.JSON import net.icsoc.report.CtiReportRealTime.Message import org.apache.flink.api.common.restartstrategy.RestartStrategi...

2019-01-14 19:46:26

阅读数 324

评论数 0

Redis分布式锁实现数据写入幂等性

程序简要设计 Flink时间窗口计算将计算结果写入Druid.io的拓补图结构如下: Flink从kafka消费数据,进行分别进行计量和及时的计算,最终将计算结果写入到kafka,最终druid.io使用kafka-inex-service从kafka中拉取数据,将结果写入到Druid.io 程...

2018-12-19 17:52:17

阅读数 468

评论数 0

Druid.io之数据压缩任务实现

压缩JSON: { "type": "compact", "dataSource": "ctites...

2018-12-17 18:37:24

阅读数 130

评论数 0

Superset修改时区为"Asia/Shanghai"

1.找到superset的安装目录; ps -ef|grep superset 找到superset的安装目录 2.进入安装目录下的找到config.py文件,修改入选 DRUID_TZ = tz.tzutc() 为DRUID_TZ = tz.gettz(‘Asia/Shanghai’) 即可 这...

2018-12-11 18:18:26

阅读数 528

评论数 0

Druid.io支持粒度如下:

all: none:使用索引的粒度,最小值none指毫秒粒度 second:秒粒度 minute:分钟粒度 fifteen_minute: 15分钟粒度 thirty_minute: 30分钟粒度 hour:小时粒度 day:天粒度 week:周粒度 month:月粒度 quarter: 一个季度...

2018-12-11 18:12:42

阅读数 125

评论数 0

kafka-index-service实现一个topic多个不同查询粒度的kafka-index-service任务

在Druid.io相关需求开发的时候,通过大数据Flink实时计算后的结果数据写入到的kafka的topic中,由于需要不同的查询的粒度的的dataSource来有话我们的业务以及查询而不想部署多态Flink程序,因此这是就可以使用该方法实现一份计算,多查询粒度的datasource生成,只需要修...

2018-12-11 16:07:15

阅读数 303

评论数 0

CentOS使用virtualenv搭建独立的Python环境-python虚拟环境

CentOS使用virtualenv搭建独立的Python环境-python虚拟环境 virtualenv可以搭建虚拟且独立的python环境,可以使每个项目环境与其他项目独立开来,保持环境的干净,解决包冲突问题。 一、安装python 可-编译安装;可-yum安装 二、安装virtualenv ...

2018-10-28 14:40:20

阅读数 120

评论数 0

GitHub C 和 C++ 开源库的清单(含示例代码)

内容包括:标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等。 标准库 C++标准库,包括了STL容器,算法和函数等。 C++ Standard Library:是一系列类和函数的集合,使用核心语言编写,也是C++ISO自身标准的一部分。 Standard Templa...

2018-10-25 10:45:49

阅读数 142

评论数 0

Java List排序问题

2018-10-19 17:10:05

阅读数 122

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭