梦想成真那天

原创 Linux下知道程序运行端口查找程序运行路径

查询端口对应的PIDnetstat -antlp|grep 37799记过如下:tcp 0 0 0.0.0.0:37799 0.0.0.0:* LISTEN 7618/java然后切换目录到/proc/7618对应的目录下 ll -tr 结果如下:exe -> /mnt/disk2/soft/F...

原创 Mac 上使用virtualenv搭建的虚拟环境指定镜像源下载python包

pip install -i https://pypi.douban.com/simple/ torch torchvision

原创 pip instal opencv-python超时

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com opencv-python

原创 Java日期格式化

字母 含义 示例y 年份。一般用 yy 表示两位年份，yyyy 表示 4 位年份 使用 yy 表示的年扮，如 11；使用 yyyy 表示的年份，如 2011M 月份。一般用 MM 表示月份，如果使用 MMM，则会根据语言环境显示不同语言的月份 使用 MM 表示的月份，如 05；使用 MMM 表示月份，在 Locale.CHINA语言环境下，如“十月”；在 Locale.US语言环境下...

原创 druid.io值kafka-index-service任务失败异常排查

2019-06-19T03:44:02,711 INFO [task-runner-0-priority-0] io.druid.indexer.HadoopDruidIndexerJob - No metadataStorageUpdaterJob set in the config. This is cool if you are running a hadoop index task, ot...

原创 记一次Flink checkpoint超时问题的排查

最近在做Flink实时自定义报表,在临近上线的时候,在测试的过程中,运行一段时间后,发现Flink的checkpoint经常会超时导致数据计算延迟甚至会导致组中Flink程序挂掉.由于这个程序在之前是运行了比较长的一段时间的,并没有报出问题,所一并没有怀疑到是程序本身的问题,最终经过修改测试,所以浪费了较多的时间,经过多方面测试,最终在查看代码的过程中,发现我每个窗口中存在一个查询SQL跟新配置...

原创 记一次Flink程序运行数天之后,某个TaskManger丢失的问题排查

2019-07-05T10:52:13,050 ERROR [flink-akka.remote.default-remote-dispatcher-5] org.apache.flink.runtime.rest.handler.legacy.TaskManagerLogHandler - Fetching TaskManager log failed.java.util.concurrent...

原创 FlinK运行一段时间后任务任务自己挂掉的问题排查

最近在做自定义实时报表,由于在前期测试Flink发现Flink拥有比较好的性能,并且天然支持窗口,所以在实时计算的时候,我们选择Flink在做计算框架.在所有的代码完成,代码准备上线的时候,发现Flink程序运行一段时间后,要么自己直接挂掉要么过一段时间,程序从checkpoint恢复.在排查日志的过程中,程序中并没有什么异常报出,最终排查每个taskManager的日志发现在其中一个TaskMa...

原创 druid.oi之ZeroCopyByteBuffer

druid.oi之ZeroCopyByteBuffer

转载 数学建模的推荐书籍

一、掌握建模必备的数学基础知识（如初等数学、高等数学等），数学建模中常用的但尚未学过的方法，如图论方法、优化中若干方法、概率统计以及运筹学等方法。二、，针对建模特点，结合典型的建模题型，重点学习一些实用数学软件（如 Mathematica 、Matlab、Lindo 、Lingo、SPSS）的使用及一般性开发,尤其注意同一数学模型可以用多个软件求解的问题。例如, 贷款买房问题: 某人贷款8 万...

原创 Java回调实现

首先要定义一个回调方法的接口:public interface CallBackListener { /** * 回调通知函数 */ void callBackNotitify(String msg);}然后需要定义一个调用函数,用于异步调用某个方法:public class Caller { private CallBackListener ...

原创 Flink异常问题提总结

Flink在执行过程中突然异常退出Sink: time-kafka(1/1) switched to SCHEDULED04/29/2019 10:10:20 Job execution switched to status FAILING.org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableExcepti...

原创 pydruid的requirements.txt

pydruidprompt-toolkit-1.0.15pygments-2.3.1tabulate-0.8.3

原创 mac下使用HomeBrew更改python版本

早上突然发现自己mac环境下的python3.6创建的虚拟环境无法使用了,报下面的错误/Users/icsoc/.virtualenvs/ctirandomdatatest/bin/python /Users/icsoc/work/code/bi-python/alert_check/check.pydyld: Library not loaded: @executable_path/../....

原创 mysql批量更新某个字段

update druid_segments set payload = replace(payload,‘oss://icsoc-emr-hadooposs://icsoc-emr-hadoop/druid-test/segments/TEST-CTI-PT30M-PT1H/’,‘oss://icsoc-emr-hadoop/druid-test/segments/TEST-CTI-PT30M-...

原创 druid.oi之Group BYJSON查询语法

{ "queryType": "groupBy", "dataSource": "DEV-MONITOR-PT1S-PT1H", "threshold": 10, "dimension": "trunkNum", "granularity": "minute", "filter": { "type": "selector", ...

原创 druid.io之merge task

在开发过程中,由于刚刚使用druid.io时,数据量比较小,所以如果按照小时来存储结果,发现每个segments只有几兆的大小,这种大量的小文件不适合在HDFS集群上进行深度存储,同时也会降低查询性能等等,所以迫切需要一种方案对segment进行数据合并,在查询druid.io的配置参数时,发现druid.io的协调节点上可以开启参数druid.coordinator.merge.on每隔一点...

原创 druid.io数据迁移

在druid.io的开发过程中,遇到需要将druid.io的某个dataSource数据迁移到另外一个集群的问题,在开发过程中,发现一种解决方式,其具体实步骤如下:第一步:将需要迁移的dataSource的segment复制一份到另外一个druid.io集群的segment存储目录下,我们是存在OSS目录下的, 所以可以使用OSS的工具复制到新目录就可以了.第二步:将老druid.io集群上的...

原创 Avro在HDFS中的追加实现

在HDFS上写入Avro文件的实现如下:第一步:需要定义写入到文件的scheme private static final String SCHEMA_JSON = "{\"type\": \"record\",\"name\": \"SmallFilesTest\" ,\"fields\":[{\"name\":\"vccId\",\"t

原创 java接口在1.8.0中新增了default关键字

今天在看druid.io的源码的时候,发现在接口中竟然可以是用default关键字,并且可以在接口中实现方法体.查询资料发现default是JDK1.8中新增的,这种发破了原来java对接口语法的闲置.public interface Jobby { boolean run(); /** * @return A map containing statistics fo...

原创 pytest安装并且生成好看的HTML报告

第一步:(1)单独建立一个python环境:mkvirtualenv pytest --python=python3(2)执行命令,切换python工作环境为pytest第二步:直接安装pythest模块到新环境中:pip3 install pytest第三步:安装allure:brew install allure第四步:安装allure-pytestpip install a...

原创 FlinkSQL读取kafka些消息,并且对消息计数实现

import com.alibaba.fastjson.JSONimport net.icsoc.report.CtiReportRealTime.Messageimport org.apache.flink.api.common.restartstrategy.RestartStrategiesimport org.apache.flink.api.common.typeinfo.Type...

原创 Redis分布式锁实现数据写入幂等性

程序简要设计Flink时间窗口计算将计算结果写入Druid.io的拓补图结构如下:Flink从kafka消费数据,进行分别进行计量和及时的计算,最终将计算结果写入到kafka,最终druid.io使用kafka-inex-service从kafka中拉取数据,将结果写入到Druid.io程序中的问题在程序运行的过程中,由于非常偶然的原因,Flink程序异常了,然后Flink从最近的che...

原创 Druid.io之数据压缩任务实现

压缩JSON:{ "type": "compact", "dataSource": "ctitest-20181205", "interval": "2018-01-01/2019-01-01"}压缩任务提交的命令: curl -X 'POST ' -H 'C

原创 Superset修改时区为"Asia/Shanghai"

1.找到superset的安装目录;ps -ef|grep superset 找到superset的安装目录2.进入安装目录下的找到config.py文件,修改入选DRUID_TZ = tz.tzutc() 为DRUID_TZ = tz.gettz(‘Asia/Shanghai’)即可这样superset的时区就切换到东八区了....

原创 Druid.io支持粒度如下:

all:none:使用索引的粒度,最小值none指毫秒粒度second:秒粒度minute:分钟粒度fifteen_minute: 15分钟粒度thirty_minute: 30分钟粒度hour:小时粒度day:天粒度week:周粒度month:月粒度quarter: 一个季度粒度year:年粒度...

原创 kafka-index-service实现一个topic多个不同查询粒度的kafka-index-service任务

在Druid.io相关需求开发的时候,通过大数据Flink实时计算后的结果数据写入到的kafka的topic中,由于需要不同的查询的粒度的的dataSource来有话我们的业务以及查询而不想部署多态Flink程序,因此这是就可以使用该方法实现一份计算,多查询粒度的datasource生成,只需要修改consumerProperties中的goup.id的值即可,以下是我在工做种的实时使用,记录一下...

转载 CentOS使用virtualenv搭建独立的Python环境-python虚拟环境

CentOS使用virtualenv搭建独立的Python环境-python虚拟环境virtualenv可以搭建虚拟且独立的python环境，可以使每个项目环境与其他项目独立开来，保持环境的干净，解决包冲突问题。一、安装python可-编译安装；可-yum安装二、安装virtualenvyum源安装：yum install python-virtualenvvirtualenv实际上...

转载 GitHub C 和 C++ 开源库的清单（含示例代码）

内容包括：标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等。标准库C++标准库，包括了STL容器，算法和函数等。C++ Standard Library：是一系列类和函数的集合，使用核心语言编写，也是C++ISO自身标准的一部分。Standard Template Library：标准模板库C POSIX library ： POSIX系统的C标准库规范I...

原创 Java List排序问题

转载 InfluxDB v1.6.3 部署

InfluxDB v1.6.3OS X (via Homebrew)brew updatebrew install influxdbDocker Imagedocker pull influxdbUbuntu & Debian SHA256: cd2e150c69dfdf715501deef1bfb42e6c637e9cccdac14a7d762d23a921b4fc8wg...

原创 python 安装superset问题Was unable to import superset Error: markdown() takes 1 positional argument but 2

运行代码:$ pip install "markdown<3.0.0" superset即可

原创 druid问题

java.lang.IllegalStateException: Failed to create merged beam: druid:overlord/ctitest-20180911 at com.metamx.tranquility.beam.ClusteredBeam$$anonfun$sendAll$2$$anonfun$26.apply(ClusteredBeam.scala:38...

原创 Flink 框架下scala与java混合编程问题

最近在应用Flink做相关业务设计,使用scala与java的混合编程,遇到一些问题,在这里做个记录.问题1:Error:(85, 23) value foreach is not a member of java.util.ArrayList[com.icsoc.report.model.Message[_]] for (msg <- messages) {这...

原创 Flink 实现实时计数和按窗口计时功能程序设计

最近在开发程序的时候,有需要实时的计数处理,以及需要按照设计的窗口来补时长,在要求选用Flink处理后,程序大致架构设计入下: 其设计思路为:从kafk读取数据生成DataStream[Message]这样一个中间变量,然后将这个中间流分两个流,一个流用于实时计数,另一个流,按照互动窗口,按照EventTime将消息划分到不同的窗口,然后取出整个窗口的数据以及取出历史数据,形成完整窗口的数据,惊...

原创 scala与java混合编程打包pom.xml

pom的build部分: <build> <pluginManagement> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-

原创 tranquilizer实现BeamFactory流式数据写入到Druid

package com.icsoc.report.druid;import com.google.common.collect.ImmutableList;import com.metamx.common.Granularity;import com.metamx.tranquility.beam.Beam;import com.metamx.tranquility.beam.Clust...

转载 java 接口的坑

在interface里面的变量都是public static final 的。所以你可以这样写： public static final int i=10; 或则 int i=10；（可以省略掉一部分）注意在声明的时候要给变量赋予初值解释：首先你要弄清接口的含义.接口就是提供一种统一的’协议’,而接口中的属性也属于’协议’中的成员.它们是公共的,静态的,最终的常量.相当于全局常量...

原创 Object.clone的坑

Object.clone只能克隆基本类型,如果里面包含其他的Object的,那么其对象还是只想原来的引用.所以在Clone的时候,内部对象也要克隆,否则就容易出bug/******************************************************************************* * 版权信息：北京中通天鸿武汉分公司 * @author xuc...

原创 joda-time中Intervals,Duration,Period的使用

先贴代码,之后再补理解:package net.icsoc.cti.report;import org.joda.time.*;/******************************************************************************* * 版权信息：北京中通天鸿武汉分公司 * @author xuchang * Copy...