- 博客(23)
- 资源 (6)
- 收藏
- 关注
原创 Postgresql实现merge into功能
三、Postgresql中使用insert into xxx on conflict() do update set语法来代替oracle中的merge into操作。SQL 错误 [42703]: ERROR: column excluded.column_xxx does not exist。错误原因:Postgresql中要求merge into语句中的关联字段必须在表中字段顺序的第一个位置。错误原因:Postgresql中要求merge into语句中的关联字段必须为主键。
2023-04-20 15:17:31 4498
原创 ES插入date类型数据报错failed to parse field [case_date] of type [date]
ES插入date类型数据报错mapping信息如下{ "mappings": { "_doc": { "properties": { "id": { "type": "integer" }, "case_date": { "type": "date" } } } }}index创建完毕之后插入数据报错,信息如下:{“id”: 20001,“c
2021-05-19 14:48:55 19014 1
原创 关闭hive自动开启mapjoin
Hive的mapjoin可以将小表放到内存然后进行表的关联,极大的提升了hive语句的执行效率,在Hive0.11前,必须使用MAPJOIN来标记显示地启动该优化操作,在Hive0.11后,Hive默认启动该优化,也就是不在需要显示的使用MAPJOIN标记,其会在必要的时候触发该优化操作将普通JOIN转换成MapJoin。实际使用中我遇到了如下问题Launching Job 2 out of 5Number of reduce tasks is set to 0 since there's no red
2021-02-02 10:15:53 3195
原创 Sqoop运行报错NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
Sqoop安装好之后运行报错NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat如下:21/01/27 08:25:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/002e434d1bd3a0780e4d1748ed2511bd/QueryResult.jarException in thread "main" java.lang.
2021-01-27 08:41:09 2215
原创 执行 source /etc/profile命令时,报错:-bash: #: 未找到命令
问题描述:CentOS 执行 source /etc/profile命令时,报错:-bash: #: 未找到命令[root@localhost ~]# source /etc/profilebash: unse: 未找到命令...问题原因:/etc/profile文件内容错误,如下修改/etc/profile文件内容将unse tMAILCHECK修改为unset MAILCHECK后保存,运行命令可正常执行;此问题多数情况是/etc/profile文件内容错误导致,耐心检查找到错误位置即
2021-01-26 16:31:48 13517 4
原创 Hive -e输出执行的Hive语句
1、使用hive -e执行语句的时候,如果想把执行的语句进行输出,可以使用hive -v -e命令执行语句hive -v -e "select * from table limit 10;"2、设置hive查询输出表字段名称配置文件设置<property> <name>hive.cli.print.header</name> <value>true</value></property>hive窗口设置
2021-01-14 11:00:59 2096
原创 SqlServer还原备份数据库
1、打开数据库管理工具2、点击数据库,右键选择还原数据库3、选择 常规,输入要还原的数据库名称,选择源设备,选择数据库备份文件,勾选还原框4、选择 选项,修改数据库文件的目录,确认...
2021-01-07 08:46:41 272
原创 Sqoop异常 ERROR tool.ImportTool: Imported Failed: column not found
Sqoop导入数据到hive报列找不到异常,如下:20/07/22 13:44:42 INFO mapreduce.ImportJobBase: Transferred 111.0097 MB in 40.0756 seconds (2.77 MB/sec)20/07/22 13:44:42 INFO mapreduce.ImportJobBase: Retrieved 1301733 records.20/07/22 13:44:42 INFO manager.SqlManager: Executi
2020-07-23 08:54:47 2388
原创 SqlServer生成连续数字根据指定的数字
需求是使用sqlserver根据指定的数字和表生成一串连续的数字,类似于oracle中ROWNUM的功能,具体实现如下:一、Oracle使用ROWNUM实现方式SELECT ROWNUM number_listFROM 表名WHERE ROWNUM <= 10;二、SqlServer实现上述功能的三种方式1.使用MASTER…spt_values方式SELECT number FROM MASTER..spt_values WHERE TYPE = 'P' AND
2020-06-30 15:34:52 4842
原创 Kettle提示事务(进程 ID 56)与另一个进程被死锁在 锁 资源上......
作为刚接触Kettle的菜鸟级选手,在使用Kettle抽取数据的时候碰到如下异常:org.pentaho.di.core.exception.KettleDatabaseException: Couldn't get row from result set事务(进程 ID 56)与另一个进程被死锁在 锁 资源上,并且已被选作死锁牺牲品。请重新运行该事务。查了一下,这个异常的原因是不同组件同时操作一个表造成的,但是想了想好像我的流程里面没有同时更新或者插入同一张表。。。。等等,插入更新组件上面的2
2020-06-10 15:56:52 2007
原创 FastDFS的Java客户端The method getConnection() is undefined for the type TrackerClient异常
Java连接fastDfs客户端报如下异常The method getConnection() is undefined for the type TrackerClient原因:fastDfs版本冲突问题;解决:第一种:改成1.27版本;第二种:改成getTrackerServer方法trackerServer = trackerClient.getTrackerServer();...
2020-05-29 10:27:02 882
原创 Java使用JDBC方式连接Mycat异常
使用mycat对sqlserver数据库的表进行分库分表测试,安装完成后,Navicat可以连接mycat并且可以正常操作表,在使用java jdbc的方式连接则报异常版本:mycat:1.6.6java:1.8
2020-05-27 17:03:19 1140
原创 Sqoop将Hive和Sqlserver、Oracle数据的导入导出
一、数据导出Hive1、全字段导出sqoop export --connect ‘jdbc:sqlserver://192.168.10.22:1433;username=sa;password=1;database=test_db’ --table t_test hcatalog-database db_test(hive上的数据库) --hcatalog-table t_test(hive上的表);2、部分字段导出sqoop export --connect ‘jdbc:sqlserver://
2020-05-20 16:44:13 1627
原创 Shell读取带空格的文本并存到数组中
脚本主要功能是加载文件,按行将数据存到数组当中,但是如果数据当中有空格,则无法正常存储数据,使用下面方法可以解决此问题脚本代码如下:#!/bin/bashOIFS=$IFSsource ~/.bash_profile#程序根目录baseDirForScriptSelf=$(cd "$(dirname "$0")"; pwd)#文件目录file_path=${baseDirForS...
2020-05-05 14:56:29 4058
原创 Shell脚本使用source命令加载配置文件
配置文件pro.properties内容如下:#参数列表city=beijing,shanghname="zhang san"Shell脚本test_pro.sh如下:#!/bin/bashOIFS=$IFSsource ~/.bash_profile#程序根目录baseDirForScriptSelf=$(cd "$(dirname "$0")"; pwd)#加载主配置...
2020-05-05 14:23:19 3129
原创 sqoop异常ERROR tool.ImportTool: Imported Failed: We found column without column name
执行sqoop命令将数据从sqlserver中导入到hdfs,报错如下20/04/28 14:30:22 ERROR tool.ImportTool: Imported Failed: We found column without column name. Please verify that you've entered all column names in your query if ...
2020-04-28 16:31:23 1305
原创 canal和hbase自带protobuf版本冲突问题
测试使用canal解析mysql binlog并把数据插入hbase的时候程序出现异常,测试过程如下:测试中使用软件的版本分别为:canal:canal.deployer-1.1.1hbase:1.2.0-cdh5.16.1pom.xml配置信息如下:<dependencies> <dependency> <groupId>org.apa...
2019-11-13 18:37:12 807
原创 scala使用maven创建spark项目编译报错
IEDA使用Maven创建Spark项目,编译报错如下:Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerExceptionError compiling sbt component 'compiler-interface-2.7.0-final-52.0' at sbt.compiler.Analyz...
2019-10-16 15:12:35 609
原创 java集合ArrayList中clear方法内存释放分析
最近在看ArrayList源码的时候看到了ArrayList的clear方法,源码如下:public void clear() { modCount++; // clear to let GC do its work for (int i = 0; i < size; i++) elementData[i] = nu...
2019-09-02 14:51:04 23260 11
原创 java调用linux命令压缩文件warning: name not matched
最近在使用java调用Runtime.getRuntime().exec方法执行linux命令压缩文件的时候,发现程序不报错,但是文件无法压缩,代码如下: public static void zipFile(String filename, String path) { File[] file = new File(path).listFiles(); File zipfile = n...
2019-07-26 12:03:17 5224
原创 java执行多条linux命令
简单介绍一下使用java通过Runtime.getRuntime().exec(cmd)方法调用linux命令,以压缩文件的使用场景为例方法一,通过数组调用: public static void zipFile(String filename, String path) { File[] file = new File(path).listFiles(); File zipfile ...
2019-07-26 11:41:20 6525
原创 logstash timestamp时间差8小时问题及解决
最近在测试使用logstash将数据从redis同步到es,并且按小时生成文本,但是在使用中发现logstash中的时间与服务器时间差8小时,导致@timestamp字段中的时间不对,并且生成文本名字中的时间不对,影响后续流程处理,logstash版本6.3.2,解决方式如下,不需要修改源码:input { redis { host => "127.0.0.1" port =...
2019-07-24 16:17:34 6252 6
fastdfs-client-java-1.29-SNAPSHOT.jar
2020-05-29
mysql-connector-java-5.1.rar
2020-04-20
junit-4.12.jar下载
2019-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人