天河~-CSDN博客

原创 Postgresql实现merge into功能

三、Postgresql中使用insert into xxx on conflict() do update set语法来代替oracle中的merge into操作。SQL 错误 [42703]: ERROR: column excluded.column_xxx does not exist。错误原因：Postgresql中要求merge into语句中的关联字段必须在表中字段顺序的第一个位置。错误原因：Postgresql中要求merge into语句中的关联字段必须为主键。

2023-04-20 15:17:31 4239

原创 ES插入date类型数据报错failed to parse field [case_date] of type [date]

ES插入date类型数据报错mapping信息如下{ "mappings": { "_doc": { "properties": { "id": { "type": "integer" }, "case_date": { "type": "date" } } } }}index创建完毕之后插入数据报错，信息如下：{“id”: 20001,“c

2021-05-19 14:48:55 18604 1

原创关闭hive自动开启mapjoin

Hive的mapjoin可以将小表放到内存然后进行表的关联，极大的提升了hive语句的执行效率，在Hive0.11前，必须使用MAPJOIN来标记显示地启动该优化操作，在Hive0.11后，Hive默认启动该优化，也就是不在需要显示的使用MAPJOIN标记，其会在必要的时候触发该优化操作将普通JOIN转换成MapJoin。实际使用中我遇到了如下问题Launching Job 2 out of 5Number of reduce tasks is set to 0 since there's no red

2021-02-02 10:15:53 3129

原创 Sqoop运行报错NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat

Sqoop安装好之后运行报错NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat如下：21/01/27 08:25:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/002e434d1bd3a0780e4d1748ed2511bd/QueryResult.jarException in thread "main" java.lang.

2021-01-27 08:41:09 2160

原创执行 source /etc/profile命令时，报错：-bash: ＃: 未找到命令

问题描述：CentOS 执行 source /etc/profile命令时，报错：-bash: ＃: 未找到命令[root@localhost ~]# source /etc/profilebash: unse: 未找到命令...问题原因：/etc/profile文件内容错误，如下修改/etc/profile文件内容将unse tMAILCHECK修改为unset MAILCHECK后保存，运行命令可正常执行；此问题多数情况是/etc/profile文件内容错误导致，耐心检查找到错误位置即

2021-01-26 16:31:48 13268 4

原创 Hive -e输出执行的Hive语句

1、使用hive -e执行语句的时候，如果想把执行的语句进行输出，可以使用hive -v -e命令执行语句hive -v -e "select * from table limit 10;"2、设置hive查询输出表字段名称配置文件设置<property> <name>hive.cli.print.header</name> <value>true</value></property>hive窗口设置

2021-01-14 11:00:59 2075

原创 SqlServer还原备份数据库

1、打开数据库管理工具2、点击数据库，右键选择还原数据库3、选择常规，输入要还原的数据库名称，选择源设备，选择数据库备份文件，勾选还原框4、选择选项，修改数据库文件的目录，确认...

2021-01-07 08:46:41 263

原创 Sqoop异常 ERROR tool.ImportTool: Imported Failed: column not found

Sqoop导入数据到hive报列找不到异常，如下：20/07/22 13:44:42 INFO mapreduce.ImportJobBase: Transferred 111.0097 MB in 40.0756 seconds (2.77 MB/sec)20/07/22 13:44:42 INFO mapreduce.ImportJobBase: Retrieved 1301733 records.20/07/22 13:44:42 INFO manager.SqlManager: Executi

2020-07-23 08:54:47 2338

原创 SqlServer生成连续数字根据指定的数字

需求是使用sqlserver根据指定的数字和表生成一串连续的数字，类似于oracle中ROWNUM的功能，具体实现如下：一、Oracle使用ROWNUM实现方式SELECT ROWNUM number_listFROM 表名WHERE ROWNUM <= 10;二、SqlServer实现上述功能的三种方式1.使用MASTER…spt_values方式SELECT number FROM MASTER..spt_values WHERE TYPE = 'P' AND

2020-06-30 15:34:52 4805

原创 Kettle提示事务(进程 ID 56)与另一个进程被死锁在锁资源上......

作为刚接触Kettle的菜鸟级选手，在使用Kettle抽取数据的时候碰到如下异常：org.pentaho.di.core.exception.KettleDatabaseException: Couldn't get row from result set事务(进程 ID 56)与另一个进程被死锁在锁资源上，并且已被选作死锁牺牲品。请重新运行该事务。查了一下，这个异常的原因是不同组件同时操作一个表造成的，但是想了想好像我的流程里面没有同时更新或者插入同一张表。。。。等等，插入更新组件上面的2

2020-06-10 15:56:52 1954

原创 FastDFS的Java客户端The method getConnection() is undefined for the type TrackerClient异常

Java连接fastDfs客户端报如下异常The method getConnection() is undefined for the type TrackerClient原因：fastDfs版本冲突问题；解决：第一种：改成1.27版本；第二种：改成getTrackerServer方法trackerServer = trackerClient.getTrackerServer();...

2020-05-29 10:27:02 873

原创 Java使用JDBC方式连接Mycat异常

使用mycat对sqlserver数据库的表进行分库分表测试，安装完成后，Navicat可以连接mycat并且可以正常操作表，在使用java jdbc的方式连接则报异常版本：mycat：1.6.6java：1.8

2020-05-27 17:03:19 1122

原创 Sqoop将Hive和Sqlserver、Oracle数据的导入导出

一、数据导出Hive1、全字段导出sqoop export --connect ‘jdbc:sqlserver://192.168.10.22:1433;username=sa;password=1;database=test_db’ --table t_test hcatalog-database db_test(hive上的数据库) --hcatalog-table t_test(hive上的表);2、部分字段导出sqoop export --connect ‘jdbc:sqlserver://

2020-05-20 16:44:13 1612

原创常用的jar包下载网站

https://mvnrepository.com/https://www.kumapai.com/open

2020-05-08 13:06:20 1557

原创 Shell读取带空格的文本并存到数组中

脚本主要功能是加载文件，按行将数据存到数组当中，但是如果数据当中有空格，则无法正常存储数据，使用下面方法可以解决此问题脚本代码如下：#!/bin/bashOIFS=$IFSsource ~/.bash_profile#程序根目录baseDirForScriptSelf=$(cd "$(dirname "$0")"; pwd)#文件目录file_path=${baseDirForS...

2020-05-05 14:56:29 4023

原创 Shell脚本使用source命令加载配置文件

配置文件pro.properties内容如下：#参数列表city=beijing,shanghname="zhang san"Shell脚本test_pro.sh如下：#!/bin/bashOIFS=$IFSsource ~/.bash_profile#程序根目录baseDirForScriptSelf=$(cd "$(dirname "$0")"; pwd)#加载主配置...

2020-05-05 14:23:19 3081

原创 sqoop异常ERROR tool.ImportTool: Imported Failed: We found column without column name

执行sqoop命令将数据从sqlserver中导入到hdfs，报错如下20/04/28 14:30:22 ERROR tool.ImportTool: Imported Failed: We found column without column name. Please verify that you've entered all column names in your query if ...

2020-04-28 16:31:23 1284

原创 canal和hbase自带protobuf版本冲突问题

测试使用canal解析mysql binlog并把数据插入hbase的时候程序出现异常，测试过程如下：测试中使用软件的版本分别为：canal：canal.deployer-1.1.1hbase：1.2.0-cdh5.16.1pom.xml配置信息如下：<dependencies> <dependency> <groupId>org.apa...

2019-11-13 18:37:12 793

原创 scala使用maven创建spark项目编译报错

IEDA使用Maven创建Spark项目，编译报错如下：Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerExceptionError compiling sbt component 'compiler-interface-2.7.0-final-52.0' at sbt.compiler.Analyz...

2019-10-16 15:12:35 594

原创 java集合ArrayList中clear方法内存释放分析

最近在看ArrayList源码的时候看到了ArrayList的clear方法，源码如下：public void clear() { modCount++; // clear to let GC do its work for (int i = 0; i < size; i++) elementData[i] = nu...

2019-09-02 14:51:04 22959 11

原创 java调用linux命令压缩文件warning: name not matched

最近在使用java调用Runtime.getRuntime().exec方法执行linux命令压缩文件的时候，发现程序不报错，但是文件无法压缩，代码如下： public static void zipFile(String filename, String path) { File[] file = new File(path).listFiles(); File zipfile = n...

2019-07-26 12:03:17 5179

原创 java执行多条linux命令

简单介绍一下使用java通过Runtime.getRuntime().exec(cmd)方法调用linux命令，以压缩文件的使用场景为例方法一，通过数组调用： public static void zipFile(String filename, String path) { File[] file = new File(path).listFiles(); File zipfile ...

2019-07-26 11:41:20 6491

原创 logstash timestamp时间差8小时问题及解决

最近在测试使用logstash将数据从redis同步到es，并且按小时生成文本，但是在使用中发现logstash中的时间与服务器时间差8小时，导致@timestamp字段中的时间不对，并且生成文本名字中的时间不对，影响后续流程处理，logstash版本6.3.2，解决方式如下，不需要修改源码：input { redis { host => "127.0.0.1" port =...

2019-07-24 16:17:34 6206 6