你信吗__-CSDN博客

原创 flink sql几种Join方式

flink SQL 适合离线处理的两种方式package com.staywithyou.flink.apitest.tableapi;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.table.api.EnvironmentS

2021-09-26 00:32:49 4609 1

原创写入execl

package utils.excel;import jxl.Workbook;import jxl.write.Label;import jxl.write.WritableSheet;import jxl.write.WritableWorkbook;import jxl.write.WriteException;import jxl.write.biff.RowsExceededException;import org.apache.flink.api.java.tuple.Tuple5

2021-08-03 15:10:49 112

原创记一次GP优化

业务场景：一张表需要自关联4次才能出结果，表DS，其中含有两个字段COL1,COL2原SQL，执行时间31min钟SELECT *FROM DS A LEFT JOIN DS B ON A.COL1=B.COL2LEFT JOIN DS CON B.COL1=C.COL2 LEFT JOIN DS DON C.COL1=D.COL2每张表大概3亿数据我们知道，GP数据库存储数据是依据分布键来存储数据的，分布键设置的不合理，会影响后面的SQL执行，此时我们的表分布键为COL1由

2021-07-03 16:45:30 712

原创 Kettle数据库资源库

一、创建一个资源库以8.1版本为例，创建一个Kettle数据库资源库我们以数据库作为资源库来存储我们的Kjb和Ktr，用以版本的控制。这里我们添加一个mysql数据库的连接（或者可以使用其他的数据库，作为资源库）选择我们刚刚添加的连接，初始账号密码都是admin。好了我们的资源库创建好了。二、资源库的使用我们可以在这里打开资源库中的ktr和kjb整理我们项目中的kjb和ktr。在windows上建立一个作业，测试。然后我们打开Linux服务器进行作业调度测试：/op

2021-01-11 14:34:15 2814 1

原创 HIVE性能调优（一）

影响hive效率的原因有数据倾斜，数据冗余，job或I/O过多、MR的分配不合理。HIVE性能调优1、利用分区优化CREATE TABLE ods.test(NAME string,CODE string,STATUS string) PARTITIONED by (dt string) --按时间分区ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'LINES TERMINATED BY '\n'STORED AS orc ;在查询时增

2020-11-24 22:07:27 191 1

原创批量修改某个文件夹下的文件内容

JAVA中获取某个文件夹下的所有文件/*** @Author：* @Description：获取某个目录下所有直接下级文件，不包括目录下的子目录的下的文件，所以不用递归获取* @Date：*/public static List getFiles(String path) {List files = new ArrayList();File file = new File(path);File[] tempList = file.listFiles(); for (int i =

2020-10-19 00:39:45 1469

原创 GP获取表结构和字段信息

selectattname, – 字段名typname,-- 类型CASE WHEN pg_truetypmod = -1 /* default typmod /THEN nullWHEN pg_truetypid IN (1042, 1043) / char, varchar /THEN pg_truetypmod - 4WHEN pg_truetypid IN (1560, 1562) / bit, varbit */THEN pg_truetypmodELSE null end ty

2020-10-19 00:32:03 1408 1

原创【错题记录】

今天笔试时碰到这样一个题，主要考的是StringBuffer传参的问题，题目: public class StringBufferTest { public static void main(String[] args) { StringBuffer a=new StringBuffer("A"); StringBuffer b=new ......

2018-09-16 19:03:22 145

qq_36320050的博客