自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

@羲凡—只为更好的活着

Get busy living, Or get busy dying

  • 博客(126)
  • 资源 (2)
  • 收藏
  • 关注

原创 踩坑——Doris,Can‘t get Kerberos realm, cause by: Can‘t get Kerberos realm

踩坑——Doris,Can't get Kerberos realm, cause by: Can't get Kerberos realm

2022-11-03 10:53:36 2053 1

原创 Clickhouse —— PROJECTION 创建物化删除

clickhouse Projection 使用 创建物化删除

2022-09-19 16:17:43 1205

原创 DataX mysql与hive间传输数据

@羲凡——只为了更好的活着DataX mysql与hive间传输数据官网前期准备a.下载并配置DataX,见官网b.有hive环境和mysql库0.注意事项a.mysql数据导入到hive 中 connection 中的 jdbcUrl必须是个list,也就是要加中括号b.hive数据导出到mysql 中 connection 中的 jdbcUrl必须是string,也就是别加中括号c.hive数据导出到mysql 中,hdfsreader数据类型转化,hive中的TINYINT,SMAL

2021-09-01 13:44:28 943

原创 Kibana6.0 常用增删改查命令(四)——script

@羲凡——只为了更好的活着Kibana6.0 常用增删改查命令(四)——script1.script样例取address中数量大于2的条数PUT /aaron_indexPUT /aaron_index/_mappings{ "properties": { "name":{"type": "keyword"}, "address" : {"properties" : { "id" : { "type" : "integer" }, "city" : { "type" : "ke

2021-08-18 17:07:24 451

原创 Clickhouse 分布式子查询——global in/join(慎用慎用)

@羲凡——只为了更好的活着Clickhouse 分布式子查询——global in(慎用慎用)不能一味的追求查询效率,将分布式子查询都改成global in,一定要结合业务逻辑假设:有一个分布式表,字段班级、姓名、年龄,ck集群有两个分片classnameage102EEE10102GGG10103DDD8103BBB9103AAA10103CCC10103GGG111、建表语句CREATE TABLE t

2021-05-08 17:41:54 11274 27

原创 Clickhouse 监控运维常用SQL小结

@羲凡——只为了更好的活着Clickhouse 监控运维常用SQL小结1、查看磁盘空间SELECT name, path, formatReadableSize(free_space) AS free_space, formatReadableSize(total_space) AS total_space, typeFROM system.disks2、查看表大小SELECTtable,formatReadableSize(sum(data_com

2021-04-25 16:58:49 1166 2

原创 踩坑——Clickhouse,Timeout exceeded: While executing Remote, Stack trace

@羲凡——只为了更好的活着踩坑——Clickhouse,Timeout exceeded: While executing Remote, Stack trace当某个查询超过5分钟的时候,无论在命令行还是查询服务中,都会出现 Timeout exceeded: While executing Remote, Stack trace .查看max_execution_time和distributed_ddl_task_timeout 两个参数也没毛病。解决方案:在users.xml的 yande

2021-04-06 20:39:58 2851

原创 DolphinScheduler docker-compose安装(配置邮件)

@羲凡——只为了更好的活着DolphinScheduler docker-compose安装(配置邮件)前期准备安装 docker安装 docker-compose安装快速试用 Docker 部署 官方文档1.下载mkdir -p /opt/modules/dolphinschedulercd /opt/modules/dolphinschedulerwget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphins

2021-03-18 15:35:15 985 3

原创 Docker-compose 安装

@羲凡——只为了更好的活着Docker-compose 安装先安装docker才能安装docker-composeDocker-compose安装官网1.把命令从上往下执行即可curl -L "https://github.com/docker/compose/releases/download/1.28.5/docker-compose-$(uname -s)-$(uname -m)" \-o /usr/local/bin/docker-composechmod +x /usr/local

2021-03-16 11:28:39 151

原创 Clickhouse 数据库连接工具——DBeaver

@羲凡——只为了更好的活着Clickhouse 数据库连接工具——DBeaver1.下载 DBeaver 和 连接驱动https://dbeaver.io/files/dbeaver-ce-latest-x86_64-setup.exehttps://jar-download.com/?search_box=clickhouse-jdbc2.安装一路next到结束,简单吧,这里就不截图了3.连接ck第一步第二步第三步4.连接成功截图|||===============

2021-03-10 17:12:57 3877 2

原创 Clickhouse 集群监控(Prometheus+Grafana)

@羲凡——只为了更好的活着Clickhouse 集群监控(Prometheus+Grafana)ClickHouse 从 v20.1.2.4 开始,内置了对接 Prometheus 的功能,可以将其作为 Prometheus 的 Endpoint 服务,从而自动的将 metrics、events 和 asynchronous_metrics 三张系统的表的数据发送给 Prometheus。前期准备选4台机器安装Clickhouse集群另选一台机器作为监控机器,先安装Docker一、修改Click

2021-01-29 17:35:51 3010 7

原创 Clickhouse 外部表、本地表、副本表和分布式表

@羲凡——只为了更好的活着Clickhouse 外部表、本地表、副本表和分布式表四个表简介外部表:ck中只有元数据,数据在hdfs等外部存储介质中本地表:ck的单机表,在某台机器上创建,就只能在这个机器上使用副本表:数据在ck集群上,每个分片有多个副本分布式表:相当于传统数据库的视图,对大批量的数据不推荐直接插分布式表前期准备a.安装 两分片两副本的Clickhouse集群b.样例数据1,羲凡,29,1992-02-27,nj5,张三,27,1994-02-27,sh3,李四,29

2021-01-19 21:04:13 3123

原创 Clickhouse 集群安装(完整版)

@羲凡——只为了更好的活着Clickhouse 集群安装(完整版)前期准备安装zookeeper集群步骤1.先安装四个单机的clickhouse2.在四台机器上新建 /etc/metrika.xml 文件,生成两分片两副本集群一、安装单机clickhouse(四台都操作,以Centos为例)官网Centos/Ubuntu/Docker安装1.1.在线安装yum install yum-utilsrpm --import https://repo.clickhouse.tech/CLIC

2021-01-19 20:04:10 4448 2

原创 Doris hdfs数据导入doris动态分区表

@羲凡——只为了更好的活着Doris hdfs数据导入doris动态分区表本文重点1.动态分区表创建2.读取路径作为分区参数3.预聚合增加count列——set (cnt = 1)4.broker load 的 hdfs HA 配置前期准备1.安装好doris——Doris 编译安装(完整版)2.doris基本知识扫盲Doris的数据模型主要分为3类:Aggregate、Duplicate、Unique;Doris支持单分区和复合分区两种建表方式;单分区指的是只指定分桶;复合分区指

2021-01-07 12:19:02 3646 7

原创 Doris 编译安装(完整版)

@羲凡——只为了更好的活着Doris 编译安装(完整版)前期准备安装java8、mysql、docker安装java8、mysql 这个基本操作,晚上也有很多例子,我就不赘述了。安装docker,这有两个博客拿走不谢(Centos7和Ubuntu)集群规划可能有小白会问,为啥只有 FE-Follower ,却没有FE-Leader?因为Leader是从Follower中选举出来的,如果自由一个Follower ,那么它就呗选举为LeaderhostnameFE-FollowerF

2020-12-16 18:23:39 6004 13

原创 踩坑——Mongodb mongoexport -q 的使用

@羲凡——只为了更好的活着踩坑——Mongodb mongoexport -q 的使用先说干货,使用mongoexport -q 需要注意以下两点第一,-q 后面的参数一定要写成标准的json格式,如果怕自己写的不对,找一个json解析工具验证一下第二,一定要将json用单引号包起来,放在 -q的后面,切记切记成功样例如下:mongoexport --authenticationDatabase admin --host 10.10.227.227 --port 30000 \-q '{"ch

2020-08-17 15:07:09 3802 1

原创 Mongodb 安装——mongodb4.0.19

@羲凡——只为了更好的活着Mongodb 安装——mongodb4.0.191.下载/解压/配置环境变量wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.19.tgztar -zxf mongodb-linux-x86_64-rhel70-4.0.19.tgz -C /opt/modules/vim /etc/profile #mongodb export MONGODB_HOME=/opt/modul

2020-08-11 11:02:24 431

原创 Jenkins 安装和配置完整版

@羲凡——只为了更好的活着Jenkins 安装和配置完整版前期准备安装java8、maven、git一、安装安装一定要看 官网如果是 Red Hat / CentOS如果是root用户下面命令就不用加 sudosudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.reposudo rpm --import https://pkg.jenkins.io/redhat-s

2020-08-07 20:04:15 3410

原创 Druid完整版集群安装——druid0.18.1

@羲凡——只为了更好的活着Druid完整版集群安装——druid0.18.1前期准备安装zookeeper、java8、mysql集群规划hostname主节点数据节点查询节点mysqlml16.com√ml20.com√ml21.com√√ml22.com√一、下载解压配置环境变量每台机器都要操作1.下载安装包wget http://archive.apache.org/dist/druid/0.18.1/a

2020-07-01 15:58:33 1143 2

原创 Flink 窗口函数处理数据(Watermark和SideOutput)

@羲凡——只为了更好的活着Flink 窗口函数处理数据(Watermark和SideOutput)统计过去5分钟内的一些数据是流处理中最常见的一种模式。这就涉及到经典的一个问题——数据延迟或乱序怎么办?Flink,针对数据延迟或乱序有几个重要的解决思路,1.添加水位线Watermark2.推迟关闭窗口时间3.超时数据的side输出下面的例子是,统计10s内的数据,水位线位2s,窗口再延迟4s关闭,最后超时数据side输出1.直接上代码package flink.window;impor

2020-06-18 17:15:20 656

原创 Java redis线程池(哨兵模式和集群模式)

@羲凡——只为了更好的活着Java redis线程池(哨兵模式和集群模式)0.前提准备pom.xml文件中要添加依赖(根据自己的flink版本修改哈)<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version></dependency>1.Redis 哨

2020-06-05 17:36:35 712

原创 Flink logback日志配置

@羲凡——只为了更好的活着Flink logback日志配置1.将flink的lib目录下log4j-1.2.17.jar , slf4j-log4j12-1.7.15.jar 移除(可以备份至别的目录下)2.在lib目录添加下面四个jar包log4j-over-slf4j-1.7.9.jar (https://repo1.maven.org/maven2/org/slf4j/)logback-access-1.2.3.jar,logback-classic-1.2.3.jar,logback-

2020-06-04 14:44:45 2283

原创 TiDB 单机安装测试集群(Docker Compose)

@羲凡——只为了更好的活着TiDB单机安装测试集群(Docker Compose)1.准备环境a.安装Docker(Ubuntu/Centos)b.安装Docker Compose# 基础环境yum -y install gcc python-devel# 安装pip并升级(检验命令为 pip -V)yum -y install epel-release python-pippip install --upgrade pip# 安装docker-composepip install d

2020-05-26 14:42:48 270

原创 Docker安装(Centos7)

@羲凡——只为了更好的活着Docker安装(Centos7)1.把命令从上往下执行即可yum -y updateyum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum list docker-ce --showduplicates | sort

2020-05-26 14:10:21 521

原创 Azkaban编译安装完整版(集群模式)

@羲凡——只为了更好的活着Azkaban编译安装完整版(集群模式)Azkaban是一个任务调度工具。安装模式也分单机模式和集群模式。下面来编译安装Azkaban-3.84.21前期准备安装git yum install -y git安装java8安装mysql一、编译1.下载oozie源码包wget https://github.com/azkaban/azkaban/archive/3.84.21.tar.gz2.解压tar -zxf 3.84.21.tar.gz -C ./3

2020-05-25 17:42:04 637

原创 Hbase RegionServer分组设置和使用

@羲凡——只为了更好的活着Hbase RegionServer分组设置和使用1.设置如果是手动搭建hbase集群hbase-site.xml中添加一下设置<property> <name>hbase.coprocessor.master.classes</name> <value>org.apache.hadoop.hbase.rsgroup.RSGroupAdminEndpoint</value></property>

2020-05-15 18:20:09 606

转载 Redis 集群搭建(主从模式)

@羲凡——只为了更好的活着Redis 集群搭建(主从模式)分布式缓存 Redis 集群搭建====================================================================@羲凡——只为了更好的活着若对博客中有任何问题,欢迎留言交流...

2020-04-28 11:27:37 169

原创 Java 发送post请求

@羲凡——只为了更好的活着Java 发送post请求import com.alibaba.fastjson.JSONObject;import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.HttpStatus;import org.apache.commons.httpclie...

2020-04-27 17:44:16 493 2

原创 YARN REST API 提交MR任务

@羲凡——只为了更好的活着YARN REST API 提交MR任务官网介绍地址 http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html既然是api,推荐使用postman或者idea,本文使用postman0.准备MR的jar包并上传到hdfs上hdfs dfs...

2020-04-13 11:28:16 1808 4

原创 Hbase 表导出到hdfs和从hdfs导入

@羲凡——只为了更好的活着Hbase 表导出到hdfs和从hdfs导入0.hbase表准备create 'tmp','c'put 'tmp',1,'c:name','Aaron'put 'tmp',1,'c:age',28put 'tmp',2,'c:name','yao'put 'tmp',2,'c:home','nanjing'1.表导出到hdfshbase org.apa...

2020-04-10 16:10:13 629

原创 Flink DateStream或DateSet与Table相互转换(Java)

@羲凡——只为了更好的活着Flink DateStream或DateSet与Table相互转换一.前提准备1.安装好flink,我使用的是Flink1.7.22.pom.xml文件中要添加依赖我们公司用的版本有点旧,是es5,如果你的不是,你一定要查找对应版本的依赖<dependency> <groupId>org.apache.flink</gr...

2020-03-04 15:29:29 1684 2

原创 踩坑——Flink报错 找不到org.apache.flink.streaming.api.scala.StreamExecutionEnvironment的类文件

@羲凡——只为了更好的活着踩坑——Flink报错 找不到org.apache.flink.streaming.api.scala.StreamExecutionEnvironment的类文件一.问题背景新建一个项目,准备用java写flinktable,发现报错如下Error:(20, 58) java: 无法访问org.apache.flink.streaming.api.scala.S...

2020-02-27 11:48:51 13531 1

原创 Flink 批处理——多文件写入hdfs(Java)

@羲凡——只为了更好的活着Flink 批处理——多文件写入hdfs(Java)0.本文解决哪种问题假如你有5000个门店甚至更多,产品需要你将每个门店的数据都写成一个文件且以门店命名,这意味着你要写5000或更多的文件,如果你直接用flink批处理writeAsText算子要么报错,要么特别慢,如果报错 Cannot currently handle nodes with more tha...

2020-02-22 21:25:24 2131

原创 踩坑——Flink报错 Cannot currently handle nodes with more than 64 outputs.

@羲凡——只为了更好的活着踩坑——Flink报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HTable.getTableName()[B一.问题背景一开始公司用cm5安装的hadoop2.0集群(Hbase是1.2.0版本),有个需求我用代码已经写好了,但是在快上线的时候决定用cm6安装的hadoop3.0(Hb...

2020-01-22 14:10:58 1236 2

原创 Centos7 安装postgre9.6

@羲凡——只为了更好的活着Centos7 安装postgre9.61.yum安装yum -y install https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7.6-x86_64/pgdg-centos96-9.6-3.noarch.rpmyum -y install postgresql96.x86_64 po...

2020-01-20 17:31:51 274

原创 Keepalived+Nginx 实现反向代理高可用(主从模式)

@羲凡——只为了更好的活着Keepalived+Nginx 实现反向代理高可用(主从模式)实现方式:1.安装 Keepalived 在两台机器上虚拟出相同的虚拟IP2.用虚拟IP指向需要代理的两个地址1.安装keepalived(两台机器)yum -y install keepalived2.修改 /etc/keepalived/keepalived.conf注意事项stat...

2020-01-17 15:17:57 528

原创 Flink 消费kafka数据写入elasticsearch

@羲凡——只为了更好的活着Flink 消费kafka数据写入elasticsearch一.前提准备1.安装上elasticsearch和kibana,如果不会安装的可以点击下面链接查看安装elasticsearch安装kibana2.pom.xml文件中要添加依赖我们公司用的版本有点旧,是es5,如果你的不是,你一定要查找对应版本的依赖<dependency> ...

2019-11-25 10:46:45 1261

原创 Flink 消费kafka数据写入hbase

@羲凡——只为了更好的活着Flink 消费kafka数据写入hbase一.前提准备1.创建Hbase表create 'test_20191122','info'2.pom.xml文件中要添加依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-cli...

2019-11-22 10:48:35 3626 5

原创 Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)

@羲凡——只为了更好的活着Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)开始之前务必检查自己kafka、pulsar和flink的版本,在pom中添加正确依赖本人kafka(0.11)、pulsar(2.4.1)和flink(1.7.2),切记版本不一样,代码...

2019-11-15 10:29:55 5503 4

原创 Pulsar 安装完整版——pulsar2.4.1

@羲凡——只为了更好的活着Pulsar 安装完整版——pulsar2.4.1pulsar自从腾讯使用后各种火,最近查看官方文档,实操后整理了一份安装手册,贡献给大家安装分一下几步:零、前期准备一、部署ZooKeeper集群二、初始化集群元数据三、部署BookKeeper集群四、部署Pulsar brokers安装pulsar2.4.1官网要求每台机器安装至少Java1.8的环境...

2019-11-13 10:41:16 3305 6

Ubuntu-mysql5.7.25离线完整安装包(含三个依赖包)

在Ubuntu上离线安装mysql5.7.25。完整安装包(含三个依赖包)

2019-03-15

APT方式安装mysql的包

下载此文件可以直接通过sudo dpkg -i mysql-apt-config_0.8.9-1_all.deb 、sudo apt-get update 、sudo apt-get install mysql-server 方式安装 mysql5.7版本

2019-01-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除