- 博客(60)
- 收藏
- 关注
原创 ls: 无法访问目录 输入/输出错误
系统报告/dhxdata目录存在输入/输出错误(I/O error)。这通常表示文件系统有问题,可能是由于文件系统损坏或硬件故障。由于/dev/mapper/centos-dhxdata是一个XFS文件系统,你需要使用xfs_repair工具来检查和修复它。如果系统报告文件系统忙,请使用以下命令来查找正在使用该文件系统的进程。[ lsof 安装命令(根据提示选择适当的修复选项。
2024-06-11 22:43:24
419
原创 hive库表占用空间大小的命令
3、查某一个分区占用空间大小(单位G)4、查某一个表总占用空间大小(单位G)1、查每个hive表占用的空间大小。5、统计hdfs某个表文件的数据量。2、按占用空间大小降序排列。
2024-03-14 14:58:09
1123
原创 hive-批量导出表结构,导入表结构
将all_create_table.txt打开,批量将create table 替换成;create table ,如果建的是外部表,就需要将create external table 替换成;(因为导出的每个表后面并没有加分号,导入的数据,每个表的建表语句要以分号结尾)使用use 数据库名,进入某个数据库下,通过show tables可显示该数据库下建了多少张表。执行hive -f all_create_table.txt 即可。将all_create_table.txt放入需要导入的服务器。
2024-03-14 14:45:06
1851
原创 oracle-job创建,停止,以及查询
COMMENTS => '执行代理商清分程序', --注释,可不写。INTERVAL=1;BYMINUTE=0;BYSECOND=0', -- 按天,间隔一天,每天1点执行。INTERVAL=1;BYMINUTE=0;BYSECOND=0', -- 按天,间隔一天,每天1点执行。START_DATE => SYSDATE, --开始时间。ENABLED => TRUE, --使JOB生效。', --JOB名称,根据自己的需要修改。', --调用的存储过程名。
2024-03-04 16:23:31
604
原创 正则表达式-分组
oracle-正则表达式:将'09/29/2008' 用正则表达式转换成2008-09-29。数字(2位)/数字(2位)/数字(4位) -正则表达式匹配:^代表以什么开头 $以什么结尾。替换的表达式:\3-\1-\2 :表示第3组的表达式-第1组表达式-第2组表达式。第一组后续会用\1表示 / 第二组,以\2 表示 /第三组 以\3表示。第二个参数:需要进行处理的字符串的所匹配的正则表达式。09/29/2008 该字符串由3部分组成。第一个参数:需要进行处理的字符串。
2024-03-04 15:58:26
476
原创 kettle-读取的数据中某个字段值赋值给另外一个字段
计算器:选择第二个:create a copy of field A。表输入:读取表的数据。
2024-03-01 10:15:55
637
原创 oracle-long类型转clob类型及clob类型字段的导出导入
若oracle数据库表字段类型有long类型,有时候我们需要模糊匹配long类型字段时,是查询不出来结果的,此时使用TO_LOB,将long类型转成clob类型,就可以模糊匹配信息。例如:oracle数据库查询所有视图内容中包含有dblink的所有视图,因DBA_VIEWS 中text是long类型,此时。第一步:create table ipmsdw.dw_all_view as。第二步:即可查询所有带dblink的所有视图名。
2024-03-01 10:00:54
894
原创 oracle 数据库建集群式数据库的DBLINK的语法
根据需要修改以下红色字体的部分即可。1、连接集群式数据库DBLINK语法。自定义的dblink名字。自定义的dblink名字。连接对方数据库的用户名。对方数据库集群服务器1。对方数据库集群服务器2。对方数据库集群服务器3。对方数据库集群服务器4。连接对方数据库的用户名。
2024-02-29 11:02:55
1091
原创 kettle-文本文件输出的内容有空格/表输入读取的数据乱码
通常在使用kettle控件-文本文件输出,发现不管怎么设置字段类型的大小,导出的数据都会出现空格,特别是在批量导出时,文本文件输出传入的都是变量,无法获知具体的字段名的时候,此时在文本文件输出的勾选此项(),就可完美解决这一问题。快速数据存储(无格式)
2024-02-29 10:48:10
481
原创 linux-tar命令--exclude
命令如下:将workscript 压缩成workscript_v2.tar.gz,不打包workscript_v2目录下的logs下的所有文件。exclude=workscript_v2/logs--不包括workscript_v2这个目录下的logs目录。workscript_v2.tar.gz--压缩的文件名,可自定义。workscript--压缩的是哪个文件。
2024-02-28 17:27:58
563
原创 kettle--文本文件输出有空格解决方案
在kettle文本文件输出时,不管如何设置字段类型和长度,导出的数据都会有空格,遇到这一问题,可以在文本文件输出控件中勾选这一项,即可解决这一问题。
2024-02-09 23:26:38
370
原创 kettle控件-复制记录到结果/ 从结果获取记录的使用
在数据采集过程中,遇到对方数据传送不及时的情况,导致数据漏采集,需要手工反复补采。在高级设置项中选中:对每个输入行执行一次,就是将传入的比如7天的时间每一条都执行这个job,相当于循环。此时的表输入:构建的的时间段的这些时间在表中不存在,即是没有采集到的数据文件。创建job的调度任务,每次执行都会将表中没有采集到的数据,循环采集入表。获取变量:获取存储过程传入的时间参数 TIME_ID。handle_file:job中引用的job。从结果获取记录:获取的字段名及类型。获取变量:获取前面设置的变量。
2024-02-08 22:41:35
1461
原创 spring boot分离打包
在实际的软件开发和部署过程中,项目的构建、打包和部署是关键的环节。然而,在大型的Spring Boot项目中,每次修改一小部分代码或仅仅更新某个依赖jar包时,都需要重新进行整个项目的构建、打包、上传和部署,导致部署时间变得相对较长。为了满足这些需求,上述示例通过 Maven 插件的配置,将项目的依赖库与代码分离,同时实现了对依赖 jar 包的增量发布。为了进一步提高部署的效率,一些企业还希望实现对依赖 jar 包的增量发布,即只有依赖库发生变化时才进行发布,避免不必要的重复操作。
2024-01-23 00:11:03
1031
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人