滴水穿石的启示

原创 Kibana 模糊查询

FuzzyQuery（模糊查询）使用~（esc下方按钮中文输入法下的按键）作为模糊查询的标识录入查询参数：name:lis~录入查询参数：name:lis~1录入查询参数：name:lis~2录入查询参数：name:lis~3划重点：fuzzy默认的精度查询是1，最大的查询精度是2。...

原创 hive窗口函数数据范围

如何指定了order by，但是没有指定窗口，统计的数据是开始到当前行。

原创 nginx配置访问图片

alias方式：不会将访问路径拼接在路径后面。root方式：会将访问路径拼在后面。

原创 OpenLDAP安装报错

tip:基于centos7，OpenLDAP使用2.4.44版本。只要有succeeded就可以。如果配置文件中没有指定空行，就会报如下的错误信息。配置base.ldif文件，下面的。

原创 apache下载慢

Apache下载组件慢

原创 MongoDB之MapReduce获取集合的所有字段

MongoDB MapReduce 查看MongoDB集合的所有字段

原创 MongoDB的runCommand方法

可以使用该方法运行所有原始数据库操作。

原创 Linux执行yum命令报Cannot find a valid baseurl for repo: base

查看Centos的版本cat/etc/issue或者cat/etc/redhat-release。tip要先查看一下当前Centos的版本，再执行对应的操作。经过查资料发现是现在使用的镜像没有在维护了，导致获取失败。可以参考下面网址信息，进行修改，即可解决问题。...

原创 notepad++64bit添加十六进制插件

链接：https://pan.baidu.com/s/1Bvaa9i8e4LSNP2JAlOZqxg提取码：8ku0

原创 yum install 提示 Error: Nothing to do

原创 Exception in thread “main“ java.lang.NoClassDefFoundError:StreamTableEnvironment

提示这个错，可能是pom文件中，设置了作用域是<scope>provided</scope>，将其注释，就可以正常启动。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId

原创 idea clean后报 错误: 找不到或无法加载主类

idea clean后会将target文件删除，重新执行main时，target/classes文件中没有class信息，这时执行就会提示找不到或无法加载主类。在执行clean后，再执行一下compile 这样就可以正常执行。

原创 org.apache.flink.table.api.ValidationException

在使用flinkTableAPI开发的时候，执行SQL，使用insert overwrite时，提示DynamicTableSink of table 'default_catalog.default_database.xx' implements the SupportsOverwrite interface.这时我们需要在pom.xml文件中添加如下依赖，就可以解决：<dependency> <groupId>org.apache.flink</grou

原创 flink-cdc报错Caused by: org.apache.kafka.connect.errors.DataException

今天在使用flink-cdc进行项目开发的时候，提示Caused by: org.apache.kafka.connect.errors.DataException: fcreatetime is not a valid field name错误，这个字段明明是有的，为什么会提示无效字段名称。查看数据库发现他是大写的，我在引用的时候用的是小写，所以就提示如下错误信息。tips:flink-cdc里使用的表字段名是区分大小写的，在建表时要和数据库表字段保持一致，避免不必要的报错。以上是我个人.

原创 idea2017 项目的target目录不显示

今天在工作中，打开idea，发现我的target目录不见啦，经过一顿度娘搜索才解决，现在记录一下找到的解决方案，帮助同道中人。解决方案有如下几种第一种在project模式下，可能是Show Excluded Files被选中，去掉就可以。如果这种方式还没有显示，那就看一下第二种。第二种可能在配置忽略文件的时候，拷贝多了，导致target也被忽略。在File-->Settings-->Editor-->File Types-->右边Ignore ..

原创 使用maven命令生成flink项目出现问题及解决方法

mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.9.0 \ -DgroupId=wiki-edits \ -DartifactId=wiki-edits \ -Dversion=0.1 \ -Dpackage=wikiedits \ ...

原创 hive官网学习--Windowing and Analytics Functions新技能解锁

开窗函数起别名使用as关键字 SELECT a, COUNT(b) OVER (PARTITION BY c) AS b_count, SUM(b) OVER (PARTITION BY c) b_sumFROM T; 当有多个开窗函数时，窗口内容使用变量表示，提高开发效率 SELECT a, SUM(b) OVER wFROM TWINDOW w AS (PARTITION BY c ORDER BY d ROWS UNBOUNDED PRECEDING);...

原创 idea import spark.implicits._ 报红，无法导入

错误的代码def main(args: Array[String]): Unit = { SparkSession.builder() .appName("Test DF") .config("config.option", "some-value") .getOrCreate() //import implicit DF,DS import spark.im

原创 hive踩坑——空值、NULL、不等于判断问题

今天遇到了某字段为string类型，但是里面存放了数字，null（空值），‘’（空串）在进行条件过滤时，出现了问题，现在进行一下简单的总结：数据准备：use default;create table test0613 as select '1' as code union all select '0' as code union all select null as code union all select '' as code ; 查询结果：筛选不为‘0’，需要

原创 hive之数据类型转换

今天在使用array_contains对collect_set的结果集和xxx字段的内容进行判断，但是判断结果不符合预期。排查发现xxx字段是String类型的，在进行算数运算后，结果被转为Double类型，和collect_set的int类型不一致，从而导致结果与预期不符。验证如下：总结：1、Hive在需要的时候将会对numeric类型的数据进行隐式转换 2、Hive也包括 隐式转换（implicit conversions）和显式转换（explicitly...

原创 Notepad++常用快捷按键

使用快捷键，可以提高效率，避免不必要的错误。0、快速复制CTRL+D（选中需要复制的内容）1、快捷删除一行数据CTRL + L2、每行开头添加内容，除了列模式，可以使用替换中的正则表达式：同理：结尾使用$即可。3、将多行转移到一行，用逗号分割，可以使用替换中的扩展：4、快速上下移动某行：CTRL+SHIFT+↑或↓5、多行合并：CTRL+J （选中要合并的内容，只是原样合并）6、大小写转换：CTRL+SHIFT+U 转大写CTRL+

原创 Windows常用高效快捷方式

1、在Windows的文件夹中快速创建文件夹ctrl+shift+n2、快速复制并新开一个当前文件夹ctrl+n3、快速关闭文件夹ctrl+w后续有好用的快捷方式执行更新，常见的快捷方式，就不在此列举，O(∩_∩)O。...

原创 hive常用的时间函数

1、获取当前时间的毫秒值select unix_timestamp();2、获取当前时间select from_unixtime(unix_timestamp());3、获取当前时间年月日select to_date(from_unixtime(unix_timestamp()));...

原创 hive中查找函数及函数使用方法

0、显示所有函数show functions;（下图是所有函数中的一部分）1、根据函数名模糊查找查找函数名中包含date关键字：show functions like '*date*';2、查看函数的具体用法查看date_add函数的具体用法desc function date_add;3、查看函数的使用demo查看date_add函数的具体用法和...

原创 hive的静态分区和动态分区的区别

第一种：设置如下参数格式：hive> set hive.exec.dynamic.partition;hive.exec.dynamic.partition=falsehive> set hive.exec.dynamic.partition.mode;hive.exec.dynamic.partition.mode=strict通过静态分区，是可以写入数据的。通过动...

原创 hive提示SemanticException [Error 10044]：Table insclause-0 has 3 columns, but query has 4 columns.

FAILED: SemanticException [Error 10044]: Line 1:24 Cannot insert into target table because column number/types are different 'deptno': Table insclause-0 has 3 columns, but query has 4 columns.一般这个错误...

原创 hive踩坑----join关联的字段出现NULL值

开心跑完我的小HQL，在校验数据的时候，发现数据明明存在，但是没有关联成功，最终发现关联的字段会有NUL值存在。针对这种情况，我找到了两种解决方案：方案一：不让NULL出现。 1、新建表的时候，将NULL处用其他内容替换，这样底层存储的就是替换后的内容。 CREATE TABLE aa (id int,name STRING) WITH SERDEP...

原创 hive面试题——LEFT JOIN ON后面加WHERE或者AND

笔试的时候会碰到join on后面会跟where或者and的笔试题，刚开始以为是一样的，但是后面本人测试了一下，发现不一样，现做一下记录，方便自己记忆，也希望给不了解的看官介绍一下，了解的看官温故知新。目录数据准备验证内容LEFT JOIN(RIGHT JOIN)验证LEFT JOIN(RIGHT JOIN)只带ON的HQLLEFT JOIN(RIGHT JOIN)只ON和...

原创 hive中的grouping sets的使用和实际应用

grouping sets如何使用数据准备：建表语句： use default; create table gb( a string, b string, c int )row format delimited fields terminated by '\t' stored as textfile;案例数据：1 1 12 ...

原创 EXCEL中使用VLOOKUP函数

在日常工作中，我们经常需要在较多的数据中取得我们所需要的数据，校验其准确性，如果一个一个地查找，不仅效率低下而且容易出错，使用VLOOKUP函数就可以快速找到我们需要的数据，而且准确性有保证，提供工作效率。数据准备1 1f 2 2 2f 9 3 3f 3 4 4f ...

原创 Linux shell中的变量种类

目录系统变量自定义变量特殊变量系统变量系统变量一般是全大写声明，通过echo $XXXX获取，Linux是大小写区分的 。[root@node1 test]# echo ${BASH_VERSINFO[5]}x86_64-redhat-linux-gnu[root@node1 test]# [root@node1 test]# echo ${bash_versi...

原创 Linux shell中单引号(' ')、双引号(" ")、反引号(` `)的区别

最近在编写shell脚本时，发现引号使用的比较频繁，也出现过小问题，现根据我的使用情况做一下总结，也加深一下自己的印象。单引号和双引号：共同点： 声明变量时，如果变量内容较多并用空格分割的，需要将变量包裹起来（使用单引号或者双引号），否则就会报-bash: xx:command not found。 1.声明变量，内容包括空格，就会提示-bash:...

原创 EXCEL中行列转换

高B格可以参看如下链接的方式：EXCEL中使用TRANSPOSE函数转置本人觉得如下的方式，效率会快点：选择要转置的内容，复制，点击粘贴，然后选中转置，就可以将内容转置。...

原创 EXCEL中使用TRANSPOSE函数转置

TRANSPOSE函数1、选中要进行转置的内容，一定要记住红框中数据的范围2、选择同样范围的横向单元格3、输入=号，写TRANSPOSE函数，如果有疑问，可以看提供的操作视频4、选择转置前的数据5、点击shift+ctrl+enter，就可以生成转置后的数据（一定要点击shift+ctrl+enter，如果直接点enter，就会出现#VALUE!）...

原创 安装oracle 12g安装教程

官网下载地址：https://www.oracle.com/database/technologies/oracle-database-software-downloads.html两个都需要下载下载后，将两个文件解压，点击setup.exe安装可能会报如下错误：解决方法第一步：控制面板>所有控制面板项>管理工具>服务>SERVER...

原创 mysql提示 Access denied for user 'root'@'localhost' (using password: YES)

java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129) at com.mysql.cj.jdbc.exceptions...

原创 kettle启动问题

kettle是java写的，安装kettle需要先安装JDK（要求是1.6以上版本）安装kettle后，点击spoon.bat启动Java环境配置对了，但是启动不了spoon.bat，也就是双击spoon.bat后一闪就没了的问题按如下方式修改：修改前：if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS=...

原创 elasticsearch JavaAPI获取RestHighLevelClient

public static RestHighLevelClient getRestHighLevelClient() { String clusterNodes = PropertyUtil.getProperty("spring.data.elasticsearch.cluster-nodes"); String username = PropertyU...

原创 kibana [object Object]: [security_exception] missing authentication token for REST request

kibana显示：Error: [object Object]: [security_exception] missing authentication token for REST request [/laravel_wechat_app_admin*/_field_caps?fields=*&ignore_unavailable=true&allow_no_indices...

原创 elasticsearch 搜索空字符串、NULL值

创建测试数据PUT test/_bulk{"create":{"_index":"test","_type":"type1","_id":"1"}}{"title":"","id":1}{"create":{"_index":"test","_type":"type1","_id":"2"}}{"title":null,"id":2}{"create":{"_index":"tes...