- 博客(237)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Postgresql:pg_dump与pg_squeeze并行执行引起的死锁
组件版本：Postgresql:10.15pg_squeeze:1.2问题PG数据库发生死锁，导致表不能正常查询原因如标题，我们在晚上对数据库表同时做pg_dump与pg_squeeze，导致数据库表发生死锁为什么因为pd_dump在执行时会对当前正在备份的表产生一个AccessShareLock锁，这时候对表进行查询写入是没问题的，但是如果对表做一些其它类似DDL的操作，DDL操作是要等AccessShareLock释放掉之后才会执行的，这就是造成我们线上表死锁的主要原因，因为pg_s.
2021-07-11 15:29:28
774
原创 Iceberg:表维护
组件版本：Apache Iceberg:0.11Apache Spark:3.0参考：https://iceberg.apache.org/maintenance/准备工作创建一张Hive表，并实时写入数据，写入过程中，测试表维护的几个功能创建一张Hive表add jar /data/tracy/iceberg-apache-iceberg-0.11.0/hive-runtime/build/libs/iceberg-hive-runtime-0.11.0.jar;SET icebe.
2021-07-06 15:36:16
924
2
原创 Ambari安装flink服务
参考：https://github.com/abajwa-hw/ambari-flink-service设置Hadoop版本VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`下载ambari-flink-service服务sudo git clone https://github.com/abajwa-hw/ambari-flink-service.git .
2021-07-05 21:10:07
640
2
原创 Ambari:删除SECONDARY_NAMENODE
命令行删除服务获取SECONDARY_NAMENODE信息curl -u admin:admin -H "X-Requested-By: ambari" -i http://localhost:8080/api/v1/clusters/bigdata/host_components?HostRoles/component_name=SECONDARY_NAMENODE删除SECONDARY_NAMENODEcurl -u admin:admin -H "X-Requested-By: a
2021-07-05 11:09:19
415
转载 PG使用pg_settings表查看参数的生效条件
PostgreSQL数据库的配置参数都在postgresql.conf文件中，此文件的目录为数据库的数据目录（$PGDATA）。这些参数有些是直接修改就可以生效，有些需要重启数据库才能生效，而有些根本就不能修改。PG数据库把这些参数分为以下几类：internal：这类参数为只读参数。有的是postgres程序写死的，有些是在安装数据库时intdb时设置好的。postmaster：这类参数需要重启数据库才能生效。sighup：不需要重启数据库，但要向postmaster进程发送sighup信号，即需要p
2021-06-21 01:02:23
1208
原创 Flink Interval Join Left Join
Flink:1.11问题Interval Join Left Outer Join不生效，Web一直显示Join Type为Inner Join原SQL var sqlQuery = """ |insert into for_shop_nt_order_detail | select | f.id,a.creat_date as create_date,shop_id,a.state,a.name,sale_amount,c..
2021-05-26 15:09:43
1670
6
原创 Ubuntu 16.04 Redash 安装
系统：Ubuntu 16.04安装docker-ce docker-compose配置依赖库sudo apt-get install apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -sudo add-apt-repository "deb [arch=.
2021-05-12 16:05:49
225
2
原创 流量监控工具iftop简单安装、使用
系统：Centos7安装安装依赖yum install -y flex byacc libpcap ncurses-devel libpcap-devel gcc下载安装包 wget http://www.ex-parrot.com/pdw/iftop/download/iftop-1.0pre4.tar.gz编译安装tar zxvf iftop-1.0pre4.tar.gzcd iftop-1.0pre4./configure make && mak.
2021-05-11 15:40:25
578
原创 ClickHouse入门：多副本集群配置
前言插件及服务器版本服务器：ubuntu 16.04ClickHouse：21.4.6.55简介配置一个单Shard、3副本的ClickHouse集群，并验证测试服务器准备3台ubuntu 16.04的服务器：192.168.10.17192.168.10.10192.168.10.16安装ClickHouse3台服务器均安装ClickHouse:sudo apt-get install apt-transport-https ca-certificates dirmngrs.
2021-05-08 14:46:00
3270
1
原创 Apache Kylin Build Cube Error:java.lang.OutOfMemoryError: GC overhead limit exceeded
异常报错java.lang.OutOfMemoryError: GC overhead limit exceeded解决方法调高Reduce的内存分配：kylin.engine.mr.config-override.mapreduce.reduce.memory.mb=7168kylin.engine.mr.config-override.mapreduce.reduce.java.opts=-Xmx6g
2021-05-07 15:01:29
293
原创 Ubuntu:Crontab打印日志
文章目录修改配置文件重启系统日志验证修改配置文件打开文件，在文件中找到cron.*，把前面的#去掉，保存退出：vi /etc/rsyslog.d/50-default.conf重启系统日志sudo service rsyslog restart验证restart cron，可以看到有日志打印到/var/log/cron.logservice cron restart...
2021-04-06 11:17:30
656
转载 bower install 报错fatal: unable to access ‘https://github.com/angular/bower-angular-touch.git/‘类错误解决方法
bower install时出现很多unable to access 'https://github.com/angular/bower-angular-touch.git/'类似的错误,方法一:(单个)开始我一个一个解决,把https换成了git例子如下:git config --global url.“git://github.com/angular/bower-angular-touch.git/”.insteadOf https://github.com/angular/bower-angu
2021-03-17 17:18:17
3398
3
原创 Gradle:Could not find or load main class org.gradle.wrapper.GradleWrapperMain
执行报错：./gradlew build -x test --stacktrace报错信息：Could not find or load main class org.gradle.wrapper.GradleWrapperMain解决：确定目录结构是否正常├── build.gradle├── gradle│ └── wrapper│ ├── gradle-wrapper.jar│ └── gradle-wrapper.properties├── g
2021-02-10 18:57:30
1489
原创 Flink-1.11：Error: Could not find or load main class org.apache.flink.api.scala.FlinkShell
文章目录Flink 1.11 with scala 2.12在启动flink-shell时报错解决方法测试Flink 1.11 with scala 2.12在启动flink-shell时报错Error: Could not find or load main class org.apache.flink.api.scala.FlinkShell解决方法修改pom文件：flink-dist/pom.xmlpom.xml重新编译打包：mvn clean install -D
2021-02-04 18:44:40
1944
原创 ClickHouse入门：表引擎-VersionedCollapsingMergeTree
前言插件及服务器版本服务器：ubuntu 16.04ClickHouse：20.12.5简介ClickHouse作为大数据场景下的高性能分析型数据库，本身是没有支持文件行级别的更新和删除的功能的。但是某些场景下还是需要更新或删除老数据的，于是便有了以增代删，即将修改和删除操作转换成新增操作。VersionedCollapsingMergeTree（折叠合并树）就是一种通过以增代删的思路，支持行级数据删除和修改的表引擎。它通过定义一个sign标记字段，记录数据行的状态，如果sign标记为1，则.
2021-01-11 23:56:30
3757
5
原创 ClickHouse入门：表引擎-AggregatingMergeTree
前言插件及服务器版本服务器：ubuntu 16.04ClickHouse：20.12.5
2021-01-07 22:25:48
8876
3
原创 ClickHouse入门：表引擎-SummingMergeTree
前言插件及服务器版本服务器：ubuntu 16.04ClickHouse：20.12.5文章目录简介聚合规则及聚合依据说明测试使用SummingMergeTreeSummingMergeTree表引擎声明方式如下普通数值类型字段聚合嵌套类型字段聚合嵌套类型字段指定复合Key非数值类型数据或非聚合字段处理方式总结简介SummingMergeTree表引擎主要用于只关心聚合后的数据，而不关心明细数据的场景，它能够在合并分区的时候按照预先定义的条件聚合汇总数据，将同一分组下的多行数据汇总到一行，这.
2021-01-02 22:36:51
4428
5
原创 ClickHouse入门：表引擎-ReplacingMergeTree
前言插件及服务器版本服务器：ubuntu 16.04ClickHouse：20.9.3.45简介虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键使用ReplacingMergeTree创建一张ReplacingMergeTree引擎的表create ta.
2020-12-17 21:49:28
1864
2
原创 HBase+Phoenix存储框架数据迁移
文章目录组件版本迁移方案迁移流程关于Phoenix的迁移组件版本HBasePhoenix迁移前1.14.7迁移后1.54.14迁移方案通过迁移HBase快照的形式进行数据迁移迁移流程创建快照hbase snapshot create -n snapshot_test -t test导出快照到HDFS的一个指定文件夹hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot
2020-12-16 22:00:23
666
原创 Flink 1.11.1:table sql支持cdc debezium数据源下的Interval Join
Flink:1.11.1目的Flink SQL CDC 模式输出的Json类型数据不支持 Interval Join，由于Interval Join只支持 append-only 的表，所以这里需要修改CDC模式debezium组件的输出格式，适配支持Table Interval Join实现这里我们通过新增一个format的形式来适配Interval Join,取名为’insert-debezium-json’，这里需要新建两个class文件如下：DebeziumJsonDeserizat.
2020-12-09 17:33:11
1127
1
原创 Phoenix 4.14 Error:PhoenixIOException:Task rejected
Phoenix 4.14Hbase 1.5.1文章目录异常信息修改参数配置生效异常信息org.apache.phoenix.exception.PhoenixIOException: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6b8280e6 rejected from org.apache.phoenix.job.JobManager$1@6f139fc9 [Running, pool size =.
2020-12-04 10:47:17
812
原创 记一个坑：Could not update the table, killing server region because couldn‘t write to an table
Hbase版本：1.1.2文章目录问题问题原因注意问题Hbase Region Server Crash:Could not update the index table, killing server region because couldn’t write to an index table问题原因如果在删除hbase的某张表时，在没有完全drop掉之前，还有写入该表的操作的情况下，hbase会kill掉当前正在写入的region所在的region server注意如果确定要删除.
2020-12-03 13:57:21
463
原创 Flink 1.11.1:table sql Kafka Connector支持Upsert写入
flink版本：1.11.1文章目录目的测试的代码flink本身的Kafka Connector重新定义一个支持Upsert的Kafka Connector Sink编译打包替换jar包并测试目的在使用flink table sql的情况下，使kafka connector sink支持upsert正常写入测试的代码val fsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().bui.
2020-11-25 19:39:55
2901
原创 ClickHouse入门：表引擎-MergeTree（一）创建方式
前言插件及服务器版本服务器：ubuntu 16.04ClickHouse：20.9.3.45文章目录简介创建方式简介这篇文件简单学习下ClickHouse基础的合并树（MergeTree）表引擎的创建方式，关于合并树基础上的如Replacing、Summing、Aggregating引擎，本文暂时不会涉及。MergeTree作为最基础的引擎，提供了主键索引、数据分区、数据副本等基本能力创建方式create table db_name.table_nmae(...)ENGINE Mer.
2020-10-24 15:03:27
3593
原创 ClickHouse小试牛刀：性能初测（与Postgresql对比）
前言使用的插件及数据库版本、配置PostgresqlClickVersion10.820.9.3.45CPU4c4cMemory16g16g文章目录准备工作PG与CK对比测试CK多字段聚合测试准备工作由于PG数据表已经存在，所以需要准备一张Clickhouse的表，这里使用基础的MergeTree引擎，没有做分区，也没有做自定义的配置，采用默认配置，建表语句如下：create table m_retailitem2(ID String,.
2020-10-21 20:34:07
4771
原创 ClickHouse入门：表引擎-HDFS
Code: 210. DB::Exception: Received from localhost:9000. DB::Exception: Unable to connect to HDFS: InvalidParameter: Cannot parse URI: hdfs://mycluster, missing port or invalid HA configuration Caused by: HdfsConfigNotFound: Config key: dfs.ha.namenodes.myc
2020-10-21 14:22:59
2446
3
原创 ClickHouse入门：表引擎-JDBC
前言使用到的插件及数据库版本：Postgresql:10.8ClickHouse:20.9.3.45Postgresql-JDBC-driver:42.2.5文章目录简介安装配置JDBC表引擎声明方式查询测试JDBC函数通过代理服务访问其它数据库简介JDBC表引擎可以对接Mysql、Postgresql、SQLite等数据库对接，但是JDBC表引擎不能单独完成对接工作，需要依赖clickhouse-jdbc-bridge的查询代理服务，clickhouse-jdbc-bridge是java.
2020-10-20 18:09:05
1045
原创 ClickHouse入门：ubuntu安装ClickHouse
https://clickhouse.tech/#quick-start文章目录安装流程：测试：安装流程：sudo apt-get install apt-transport-https ca-certificates dirmngrsudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4echo "deb https://repo.clickhouse.tech/deb/stable/ main/".
2020-10-20 17:23:17
1568
1
原创 Flink 1.11.1:flink CDC Debezium自定义修改debezium-json格式
前言Flink 1.11新增支持CDC，包括Debezium、Canal，现修改debezium-json的format格式默认输出格式1、插入（true,1,2,3)2、更新（false,1,2,3)（true,1,2,43、删除（false,1,2,3)（true,1,2,43、
2020-10-09 21:41:52
4683
原创 Flink 1.11.1:flink sql多表join
从kafka读取3个topic,join后写数据到clickhouse代码示例：val createTable = """ |CREATE TABLE nt_sale_order ( | id VARCHAR, | write_date BIGINT, | create_uid INT, | name VARCHAR, | op VARCHAR |) |WITH ( | 'connector'
2020-10-09 15:46:33
1729
2
原创 Flink 1.11.1:flink sql kafka-connector示例
示例：val createTable = """ |CREATE TABLE nt_sale_order ( | id VARCHAR, | write_date BIGINT, | create_uid INT, | name VARCHAR, | op VARCHAR |) |WITH ( | 'connector' = 'kafka', | 'topic' = 'shopfo
2020-10-09 15:38:33
1455
原创 Flink 1.11.1:jdbc-connector 添加支持Clickhouse
文章目录解决的问题：做的代码改动:编译使用替换已有的flink-connector-jdbc包解决的问题：Flink JDBC写数据到Clickhouse默认没有实现，需要自己实现，需新添加ClickhouseJDBCDialect做的代码改动:1、修改flink-release-1.11.1/flink-connectors/flink-connector-jdbc/src/main/java/org/apache/flink/connector/jdbc/dialect/JdbcDialect
2020-10-09 15:14:56
3155
7
原创 HBase Merge Region使用
文章目录Hbase Merge Region的两种形式Hbase Merge Region批量操作记一个坑Hbase Merge Region的两种形式merge_region‘e7560dd363783cc6bd9cddc68bbcd2f8’,‘4402af167c4261eb65b830afaf7e3d15’merge_region‘e7560dd363783cc6bd9cddc68bbcd2f8’,‘4402af167c4261eb65b830afaf7e3d15’,true加tr
2020-08-25 17:41:22
1402
原创 Phoenix异步创建索引
phoenix创建索引的两种方法：1、在线，在线的方式创建索引，在数据量大的时候，会建不出来，在创建时也会影响正常的读写2、离线，离线即异步创建的方式下，以起MapReduce任务的形式生成索引表对应的hbase表表文件，以实现异步创建离线创建：1、命令行执行：CREATE INDEX INDEX_DWR_NT_ORDER_DETAIL_ORDER_NO4on DWR_NT_ORDER_DETAIL ("order_info"."ORDER_NO") ASYNC SALT_BUCKE..
2020-08-23 18:46:13
2052
原创 ambari:Metrics Collector 异常，Metric collector host was blacklisted
文章目录异常报错问题原因解决异常报错ambari Portal UI监控图标不显示，查看ambari-metrics-monitor日志，出现如下错误：Metric collector host was blacklisted问题原因AMS元数据异常解决停掉AMS Ambari Metrics服务清空/var/lib/ambari-metrics-collector 路径下的文件目录（可以被分出去）清空hbase.rootdir 和 hbase-tmp目录(可以备份move出去)
2020-07-30 11:08:14
985
1
转载 spark-webUI添加权限认证
Spark版本：2.4.0直接上步骤：#1、编写Filter代码```javapackage spark;import org.apache.commons.codec.binary.Base64;import org.apache.commons.lang.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import javax.servlet.*;import javax.servlet..
2020-07-24 18:01:10
1193
转载 Supervisor使用详解
一、supervisor简介Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确获取子进程挂掉的信息的，可以选择是否自己启动和报警。supervisor还提供了一个功能，可以为supervis
2020-07-21 16:53:32
650
原创 Flink:RetractStreamTableSink 自定义sink写数据到Phoenix
文章目录目标Sink定义使用自定义Sink测试目标两张表left join的结果更新写入Phoenix数据样例：(true,12,2,3,2020-06-18T00:00,2020-06-18T00:00)(true,12,2,5,2020-06-18T00:00,2020-06-18T00:00)(true,12,2,2,2020-06-18T00:00,2020-06-18T00:00)(true,12,2,4,2020-06-18T00:00,2020-06-18T00:00)(tru
2020-06-18 20:34:27
1959
原创 Flink 1.9.1:JDBCUpsertTableSInk 写数据到Phoenix
文章目录目的实现测试目的Flink插入跟新数据到Phoenix实现目前使用的JDBCUpsertTableSink支持如下集中RDB:DerbyMysqlPostgresql所以需要定义一下Apache Phoenix的写入形式：https://github.com/apache/flink/blob/release-1.9.1/flink-connectors/flink-jdbc/src/main/java/org/apache/flink/api/java/io/jdbc/dia
2020-06-12 10:58:20
2891
2
原创 flink 1.9.1异常：JDBCUpsertTableSink 使用Postgresql连接时报错
文章目录异常问题原因解决测试异常Caused by: java.sql.BatchUpdateException: Batch entry 0 INSERT INTO "action_log"("id", "cnt") VALUES ('1', 1) ON CONFLICT ("id" DO UPDATE SET "id"=EXCLUDED."id", "cnt"=EXCLUDED."cnt" was aborted: ERROR: syntax error at or near "DO"
2020-06-11 18:52:06
3062
空空如也
求助：kettle连接cdh510-hbase报错问题
2017-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人