自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 部署服务至K8S

1、将docker镜像打包 docker save dts-search:v1 > dts-search.tar 2、新建目录,目录结构如下: 将 dts-search.tar 放入 images 目录下。 主目录下包含以下文件: install.sh:k8s 启动的主程序。 ima...

2019-11-26 16:53:39

阅读数 18

评论数 0

原创 docker 常用命令

01、查看已有镜像 docker search mysql docker images 02、网上拉取镜像 docker pull centos:7 1、创建镜像(在Dockerfile-single所在目录) docker build -f Dockerfile-single -t dts-...

2019-11-26 10:52:12

阅读数 15

评论数 0

原创 Elasticsearch对数字检索——ngram

数字可能信息不全,需要对数字进行切分,所以选用 ngram 分词器进行分词 测试 POST _analyze { "tokenizer": "ngram", "text":"123456" } { &qu...

2019-11-13 12:45:33

阅读数 12

评论数 0

转载 flink1.9 table API

TableEnvironment 支持功能对比 TaableEnvironment 使用 场景一: 用户使用 Old planner,进行流计算的 Table 程序(使用 Table API 或 SQL 进行开发的程序 )的开发。这种场景下,用户可以使用 StreamTableEnvironm...

2019-10-16 16:56:02

阅读数 25

评论数 0

原创 java 定时任务

项目需求:需要一个小的jar包对数据定时进行清洗。无法调用crontab java的定时任务器 package utils; import org.quartz.*; import org.quartz.impl.StdSchedulerFactory; import org.slf4j.Log...

2019-10-16 14:02:32

阅读数 13

评论数 0

原创 java 获取当前jar包下的配置文件

private static Properties getProps(String fileName){ Properties properties = new Properties(); //读取当前 jar 包存放的路径 String path...

2019-10-16 13:55:15

阅读数 6

评论数 0

原创 postgresql 递归查询

1、表结构如下 CREATE TABLE "public"."city" ( "id" int4 NOT NULL DEFAULT nextval('city_id_seq'::regclass), "...

2019-09-30 14:36:58

阅读数 5

评论数 0

原创 docker 安装方式

1、卸载老版本的docker [root@cdhmaster01 ~]# yum remove docker docker-common docker-selinux docker-engine Failed to set locale, defaulting to C Loaded plugi...

2019-09-29 09:59:56

阅读数 11

评论数 0

原创 Elasticsearch 同义词(dynamic-synonym)远程数据库加载

说明 Elasticsearch 版本7.2.0 同义词插件:elasticsearch-analysis-dynamic-synonym 无停机动态远程更新同义词 1、下载同义词插件 下载地址: https://github.com/bells/elasticsearch-analysis...

2019-08-29 20:50:16

阅读数 128

评论数 0

原创 Elasticsearch ik分词器加载远程数据库中的热词库

1、下载 elasticsearch-analysis-ik 源码包 下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases 2、修改源码 org.wltea.analyzer.dic.Dictionary 单例类的初...

2019-08-16 16:54:11

阅读数 200

评论数 0

原创 Elasticsearch 配置用户名和密码

启动 Elasticsearch 程序 [elastic@console bin]$ ./elasticsearch -d future versions of Elasticsearch will require Java 11; your Java version from [/usr...

2019-08-16 14:34:08

阅读数 4573

评论数 5

原创 ElasticSearch JAVA HighLevelClient

在 pom.xml 中加入 Elasticsearch 的依赖: <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId&...

2019-08-13 14:20:02

阅读数 79

评论数 0

原创 Elasticsearch 拼音分词器

安装步骤 下载地址:https://github.com/medcl/elasticsearch-analysis-pinyin/releases/tag/v7.2.0/elasticsearch-analysis-pinyin-7.2.0.zip 创建文件夹并上传解压文件(所有节点) [root...

2019-08-09 15:09:20

阅读数 34

评论数 0

原创 Elasticsearch 集群相关信息查询

ES集群相关信息查询: 1、集群的健康状态 [elastic@master01 elasticsearch]$ curl master01:9200/_cluster/health?pretty { "cluster_name" : "unisinsight&qu...

2019-08-08 16:43:25

阅读数 41

评论数 0

原创 数据库数据同步至redis

主程序: mysql -uroot -ppasswd -h 192.168.108.140 test --skip-column-names --raw < ~/linuxmysql.sql | $REDIS_HOME/src/redis-cli -h 192.168.108.126 -p ...

2019-07-24 11:08:20

阅读数 40

评论数 0

原创 Java 产生人员基础信息

package modelEntertainment; import com.alibaba.fastjson.JSONObject; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clien...

2019-07-20 09:59:27

阅读数 54

评论数 0

原创 postgresql返回结果集

单个结果集 (1)使用 return query 创建function CREATE OR REPLACE FUNCTION get_one_record() RETURNS SETOF RECORD as $$ DECLARE v_rec RECORD; BEGIN re...

2019-07-11 20:11:55

阅读数 278

评论数 0

转载 对centos虚拟机进行扩容

1、查看存储利用率: [root@slave01 ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 68G 1.2G 67G 2% / devtmpf...

2019-07-04 20:46:11

阅读数 20

评论数 0

原创 maven打包并添加相关依赖

添加maven配置 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-dependenc...

2019-06-27 13:56:30

阅读数 59

评论数 0

翻译 Greenplum failed segment恢复方法

1、启动数据服务 [gpadmin@mdw ~]$ gpstart 2、生成恢复配置文件 [gpadmin@mdw ~]$ gprecoverseg -o ./recov [gpadmin@mdw ~]$ cat recov filespaceOrder= sdw2:50000:/home/d...

2019-06-18 17:34:22

阅读数 30

评论数 0

原创 flink timeWindow

记录: 功能需求:对每天(00:00:00-23:59:59)、每小时(00:00-59:59)这个两个区间段内的数据进行统计。 发现滑动时间窗口不满足这个功能,查找资料后发现具有这个function:TumblingEventTimeWindows 代码如下: 可以对这种区间窗口进行聚合。 示...

2019-06-06 15:28:45

阅读数 231

评论数 0

原创 flink time 及 watermark

package flink.windowTime; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple; import org.apache....

2019-06-06 15:14:03

阅读数 28

评论数 0

原创 flink stream join redis

package flink.stream.asyncIOSide; import com.github.benmanes.caffeine.cache.Cache; import com.github.benmanes.caffeine.cache.Caffeine; import io.ver...

2019-06-05 09:12:42

阅读数 134

评论数 0

原创 flink stream join mysql

功能说明: 对kafka中的流数据进行清洗,其中相关的配置文件存放在数据库中,需要将流数据与数据库中的配置文件进行关联,输出相应的结果。 方式一:异步查询 使用异步查询的方式,对数据流中的数据进行查询。代码如下: package flink.stream.asyncIOSide; import ...

2019-06-04 19:34:09

阅读数 256

评论数 0

原创 centos6.8离线安装oracle 12c

centos版本:centos 6.8 oracle版本:oracle 12c 1、查看防火墙状态: service iptable status service iptables stop 2、关闭selinux vi /etc/selinux/config SELINUX=disabled...

2019-05-16 09:21:30

阅读数 349

评论数 1

原创 flink stream broadcast广播变量

Apache Flink 官方文档提供了广播状态的功能以及有关 API 的详细指南。在使用广播状态时要记住以下4个重要事项: 使用广播状态,operator task 之间不会相互通信 广播状态中事件的顺序在各个并发实例中可能不尽相同 所有 operator task 都会快照下他们的广播状态 ...

2019-05-14 10:48:26

阅读数 897

评论数 1

原创 postgresql设置开机自启动

1、修改$GP_HOME/contrib/start-scripts/linux 文件 # Installation prefix #prefix=/usr/local/pgsql #安装路径 prefix=/home/postgres #echo "-----$prefix-----&...

2019-05-07 14:43:04

阅读数 1120

评论数 0

原创 IDEA 对java指定的class打包jar

1、对项目进行编译,生成class文件 2、File——>Project Structure——>Project Settings——>Artifacts——>单击绿色加号——>JAR——>Empty 3、对jar包进行命名,并设置输出路径(可选),通过...

2019-04-30 14:44:49

阅读数 672

评论数 0

原创 PL/Java的安装及使用

对于Greenplum数据库,PL/Java扩展可作为一个包提供。从Pivotal网络下载软件包,然后使用Greenplum软件包管理器(gppkg)进行安装。 gppkg实用程序会在群集中的所有主机上安装Greenplum数据库扩展以及任何依赖项。在系统扩展和分段恢复的情况下,它也自动在新主机...

2019-04-30 10:49:19

阅读数 219

评论数 0

原创 redis集群搭建

1、安装ruby 不能用yum安装,yum安装的最高版本是2.0,ruby需要2.2以上的版本 下载网站:http://www.ruby-lang.org/en/downloads/ [root@mdw ~]# yum install gcc gcc-c++ autoconf automa...

2019-04-29 11:27:15

阅读数 36

评论数 0

原创 linux免密登录

在A主机上执行此命令 ssh-copy-id -i ~/.ssh/id_rsa.pub 192.***.***.185

2019-04-29 08:51:15

阅读数 20

评论数 0

原创 kafka操作命令

创建topic [root@master01 ~]# kafka-topics --create --zookeeper master01:2181 --replication-factor 1 --partitions 1 --topic car 19/04/25 15:04:06 INFO z...

2019-04-26 11:47:29

阅读数 38

评论数 0

原创 java对properties文件进行读写及更新

package properties; import java.io.*; import java.util.Properties; public class PropertiesUtils { private final static PropertiesUtils properti...

2019-04-25 13:43:40

阅读数 133

评论数 0

原创 Redis持久化配置

一、RDB(Redis Database) 1、RDB持久化的四种形式: a) 满足配置文件中的配置参数,自动进行bgsave(打开子进程,异步)操作。 b) 客户端手动执行save(阻塞,其他操作等待)操作。 c) flushall。产生的rdb文件是空的,没啥意义。 d) shutdown。产...

2019-04-23 09:25:08

阅读数 16

评论数 0

原创 flink连接kafka,postgresql sink

配置文件Baseconf package com.conf; public class BaseConf { public static final String USERNAME = &quot;postgres&quot;; public static fin...

2019-03-12 17:40:06

阅读数 514

评论数 0

原创 java连接kafka

pom.xml配置: &lt;dependency&gt; &lt;groupId&gt;org.apache.kafka&lt;/groupId&gt; &lt;artifactId&am...

2019-03-12 17:27:14

阅读数 1409

评论数 0

原创 flink连接postgresql数据库

写入postgresql数据库 package jdbc.psql.csvtopsql; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tu...

2019-03-08 16:50:11

阅读数 840

评论数 1

原创 greenplum分区表

1、分区表的规则 在这里插入代码片

2019-03-06 14:59:16

阅读数 222

评论数 0

原创 postgresql主从备份

1、分别在master节点和standby节点安装Postgresql 2、Master上的配置: (1)创建备份用户: create role rep1 login replication encrypted password ‘passwd’; (2)修改pg_hba.conf host ...

2019-03-06 11:05:59

阅读数 181

评论数 0

原创 postgresql安装教程

1.软件下载 cd /usr/local/src/ wget https://ftp.postgresql.org/pub/source/v9.4.5/postgresql-9.4.5.tar.gz 2.安装依赖包 yum install -y perl-ExtUtils-Embed r...

2019-03-06 09:19:47

阅读数 267

评论数 3

提示
确定要删除当前文章?
取消 删除