自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(167)
  • 资源 (18)
  • 收藏
  • 关注

原创 大数据&ETL&kettle学习积累

以下为本博客及其他资料的分享:大数据:Kudu的学习SQL的学习:MySQL的学习,由入门到精通SQL学习分享1之时间命令unix_timestamp、FROM_UNIXTIMESQL学习分享2之分组排序函数ROW_NUMBER() OVER()...

2020-04-23 16:20:57 1522

原创 oracle将字符串中的字符和数字拆分开等功能

【代码】oracle将字符串中的字符和数字拆分开。

2024-06-14 14:20:59 77

转载 oracle的undo数据库不断增大的情况

会造成的影响是UNDO表空间的区(extent)中大部分都是未过期状态(unexpired),这就会导致数据库在给事务分配UNDO块时,会优先使用UNDO表空间的的空闲空间分配,而不是覆盖已经分配的空间,这使得UNDO表空间的使用率保持在一个较高的水平。从上面的步骤可以看出,事务会优先使用UNDO空闲空间、过期状态(expired)的UNDO区,然后会尝试扩展表空间的数据文件,只有在以上步骤都得不到获得UNDO表空间后,才会去使用未过期(unexpired)的UNDO区。

2024-03-07 11:14:37 175

原创 weblogic8版本修改控制台密码

weblogic8.1老版本的控制台密码修改

2024-02-23 15:14:18 191

原创 git的使用记录

git reset --hard 3fa9cb3 恢复到对应指针的版本。git log --oneline --decorate 显示当前指针。git log --oneline 一行的简略信息显示。git checkout testing 切换分支。git branch testing 新增分支。git merge 分支ming 合并分支。git tag -d v1.0 删除标签。git branch -d 删除分支。git branch 查看分支。git tag 打标签。

2023-11-20 18:11:52 665

原创 Jenkins在Linux环境下的安装与配置

Jenkins是一个项目,是基于Java开发的一种持续集成(CI)工具,用于解决持续重复的部署、监控工作;它一个开放易用的软件平台,大大简化软件的持续集成。

2023-11-13 18:04:13 1356

原创 docker compose的安装和使用

docker-compose 是一个容器编排工具(自动化部署、管理);它用来在单台 Linux 服务器上运行多个 Docker 容器;docker-compose 使用YAML文件来配置所有需要运行的 Docker 容器,该 YAML 文件的默认名称为 docker-compose.yml。

2023-10-09 11:48:41 2084

原创 Docker的学习记录

docker安装Docker是一个被广泛使用的开源容器引擎,基于Go语言,遵从Apache2.0协议开源。docker的三个概念:容器、镜像和仓库。docker安装安装相关系统工具// 添加yum源// 更新yum缓存// 安装// 启动,查看,停止查看docker版本docker -v// 查看docker操作命令docker。

2023-09-26 16:05:52 684

原创 Oracle统计用户下所有表的行数

Oracle统计所有表的行数

2023-08-24 15:45:35 860

原创 iptables的使用规则

-t 表名]:该规则所操作的哪个表,可以使用filter、nat等,如果没有指定则默认为filter。[规则编号]:插入、删除、替换规则时用,--line-numbers显示号码。-D:从规则链中删除一条规则,要么输入完整的规则,或者指定规则编号加以删除。-I:插入一条规则,原本该位置上的规则会往后顺序移动,没有指定编号则为1。[--dport目标端口号]:数据包的IP的目标端口号。[--sport 源端口号]:数据包的IP的源端口号。-nL:-L、-n,查看当前运行的防火墙规则列表。

2023-08-24 11:10:04 534

原创 Linux中使用split切割文件,按行或者文件大小切割

环境中有5G大小的文件1千多万行,需要按行数切割,使用linux中的split工具可快速实现。QD_WG_ZHWJ_JF5_FUJF_IOM_MX_M.txt 表示切割的文件。QD_WG_ZHWJ_JF5_FUJF_IOM_MX_M 表示切割后文件的前缀名。--additional-suffix=.txt 表示切割后的后缀名。-d表示切割后的文件按照00,01,02...排序。如果想要按照大小进行切割使用参数 -b。-l表示按100000行进行切割。

2023-08-11 10:33:13 702

原创 Oracle中for循环查询多张表的记录数

oracle的表wjz_temp中有待查询的表名,通过for循环查询这些表的数据量,因为for循环不能用from 循环.表名,所以通过组装SQL,使用 execute immediate的形式实现。

2023-06-01 14:08:40 1477

原创 Linux使用rsync同步文件

其中-v会详细输出过程, -z 表示传输过程中压缩文件,-n表示是测试,并不实际传输。-a: --archives.归档,保留文件的原有属性相当于rlptgoD的选项组合。去掉-n后如下,查看到/tmp/test_dir目录下的a.txt也删除了。-c:--checksum,开启校验功能,强行对文件传输进行校验。--delete-before: 接收者在传输之前进行删除操作。-v:详细输出模式,--verbose。-r:--recursive,递归复制。-q:--quiet,静默模式。

2023-05-12 09:41:33 766 1

原创 Linux中xargs的使用

xargs(英文全拼: eXtended ARGuments)是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。xargs 可以将管道或标准输入(stdin)数据转换成命令行参数,也能够从文件的输出中读取数据。xargs 也可以将单行或多行文本输入转换为其他格式,例如多行变单行,单行变多行。xargs 默认的命令是 echo,这意味着通过管道传递给 xargs 的输入将会包含换行和空白,不过通过 xargs 的处理,换行和空白将被空格取代。

2023-04-13 11:42:25 1045

原创 oracle定时清理未释放的spid脚本

因为系统使用的报表系统是零几年的系统,查询报表后没有自动commit功能,所以会存在使用dblink后session一直未释放的情况,会造成数据库锁。PS:刚开始用sqluldr2导出数据库结果,但是在HP UNIX中sqluldr2使用有问题,改为用spool。因此,写一个定时清理脚本,当来自报表那台服务器ip的查询超过200分钟时,就kill掉。首先使用oracle的spool工具导出对应的spid进程号,然后脚本中kill掉。当锁数量达到40+时数据库服务器的CPU资源占满,影响系统的使用。

2023-04-03 15:43:03 263

原创 Oracle清理高水位线操作,创建大表测试

例如TESTTABLE_BAK0621表数据量是49600000,表空间占用2G多,删除数据后保留640条数据;数据库中经常会有delete数据,但是数据虽然删除,水位线并没有下降,所以查询不会因清理数据加快,表空间也并没有释放。但是很多情况下并没有长远考虑,或者字段没有时间分区,则可以采用expdp以及impdp的方式进行清理;一般在建表前会考虑是否要经常清理表数据,若有需要则建立分区表;通过以下操作后,高水位线会释放;再查询表大小就降下来了。

2023-03-20 17:46:26 662

转载 ORACLE 利用SCN恢复误delete的表

-创建表howard存放数据库的SCN。--得到删除前数据库的SCN,恢复表数据。--kg被删除且已经提交。--查询此时数据库的SCN。--kg是误删除的表。

2023-03-13 11:25:40 204

原创 Oracle表分区的创建、新增、拆分

其中增加POHTER分区是为了防止不符合分区条件是数据插入报错,但是如果直接新增分区会报错ORA-14074: 分区界限必须调整为高于最后一个分区界限,根本原因是存在最后maxvalue分区。解决方法是拆分分区,在split partition时,根据split point原来的partition分裂成两个partition。Oracle中为了方便管理、查询数据当数据量大于500w或者2G时最好用分区表,常见的一种是使用时间作为分区。所以分区拆分的时候,必须从小的开始,否则会提示如下报错。

2023-03-08 15:28:29 5293

原创 Oracle 使用SQL*Loader导入文本数据

把txt或者csv文件导入oracle最方便的方法是通过plsql的文本导入器导入,但是导入大批量数据时文本导入器效率慢,可以使用oracle命令行sqlldr导入更快速。replace :删除旧记录(等价delete from table语句),替换成新导入的记录;truncate:删除旧记录(等价truncate table语句),替换成新导入的记录;其中ctl就是控制文件,log是日志,userid是oracle的用户和密码。数据文件就是你的txt或者csv文本文件,控制文件是你写的命令。

2023-03-02 10:59:46 2067

原创 SSH 服务支持弱加密算法

最后添加一下内容(去掉 arcfour、arcfour128、arcfour256 等弱加密算法)官网有说明,OpenSSH 7.0 以后的版本默认禁用了一些较低版本的密钥算法。保存文件后重启 SSH 服务:service sshd restart。查看支持的cipher列表,然后将列表中的内容排除掉漏洞中的弱加密列表。方案二:升级 openssh 版本为最新版本。查看到 有不支持的加密算法。

2023-02-20 16:26:14 7150 2

原创 查看Linux服务器的环境

CPU总逻辑数(32) = 物理CPU个数(2) * 每颗物理CPU的核数(8) * 超线程数(2)CPU总核数(16) = 物理CPU个数(2) * 每颗物理CPU的核数(8)查看内存大小、内存数、内存插槽数。

2023-02-03 12:49:49 2126

原创 Apache Drill的学习

Drill的下载地址:Index of /dist/drill参考文章:JDBC使用Apache Drill进行跨库查询_manson7230的博客-CSDN博客Apache Drill 一个实时查询引擎的入门 - 腾讯云开发者社区-腾讯云 Apache Drill详解_天街小雨入江南的博客-CSDN博客_apache drill drill apache_如何指南:Apache Drill入门_dnc8371的博客-CSDN博客

2022-12-06 14:42:46 634

原创 配置Nginx和其他应用的HTTPS访问

使用tomcat或者weblogic部署的应用默认都是http访问的,如果通过https访问,需要ssl证书。tomcat或者weblogic可以配置;同时,另一种方法,https网站中,如果接口服务是http的,那么请求接口就会被拒绝,可以使用nginx做代理转发访问。

2022-11-28 16:01:11 1551

原创 scp不输入密码传文件,使用expect实现&expect离线安装

linux服务器之间互相传输文件,可以使用scp命令,但是每次传输文件需要输入密码,解决方法可以是两个服务器直接设置 ,也可以使用except脚本实现。首先需要服务器安装expect,你可以which expect查看服务器上是否有安装。/usr/bin/expect -f:使用expect来解释该脚本。

2022-11-10 18:29:31 1726

原创 Tomcat 简易升级方法

但是每次升级tomcat都需要把logs和webapps文件夹重新copy出来,造成了很多不必要的工作量。类似于7.1-8.5的升级、那么更换lib文件夹和bin文件夹下的内容即可。如果类似于8.1到8.5的升级、那么只需要更换lib文件夹的内容即可。下面提供两种方式的升级,仅供参考、更新前最好做好备份,以防万一。由于tomcat版本经常会有漏洞,所以经常需要升级更新。更换后重启tomcat。

2022-11-07 17:46:52 13374 3

原创 oracle的触发器使用

这里要使用before,不然使用after会报错:ORA-04084: 无法更改此触发器类型的 NEW 值,您试图在值保持后更改值。创建触发器实现:插入字段id和str1的时候,str2自动复制str1的值。

2022-10-12 21:32:10 562

原创 XXL-job的搭建和使用-执行shell脚本

场景:在腾讯云服务器上安装xxl-job应用和mysql数据库。安装mysql,安装教程见。

2022-10-07 16:23:52 4074

原创 keepalived+Nginx实现高可用场景

在实际的生产项目中,我们对服务要实现高可用,这种效果可以用nginx实现;但是nginx只有一台,若nginx的服务器宕了,高可用也就无法实现;所以可以通过keepalived实现nginx的高可用。本文通过虚拟机模拟实现该场景:服务器A安装nginx和keepalived实现服务的主备切换。服务器B安装nginx和keepalived实现服务的主备切换。服务器C和D分别为应用服务。

2022-09-26 23:08:17 3548 1

原创 Oracle使用group by将多行合并一行

其中str是关键字段,分别表示第一次和第二次测速,将以上数据合并为单行有第一次和第二次测速的数据。场景中有时候需要,对多行数据通过关键字段合并为一行,这个时候可以用分组和decode来实现。...

2022-09-01 14:26:19 3200

原创 Linux设置用户的密码有效期

使用命令chage加参数可以查看,更改用户密码的有效期。

2022-08-18 11:51:16 12113

原创 自治事务pragma autonomous_transaction的使用场景

做了自治事务的声明后,不但函数中可以用DML语句,甚至可以使用DDL语句,比如CREATE TABLE ,CREATE INDEX等。场景:包体里的函数调用嵌套了两层的存过,存过中有DML,DDL语句,报错ORA-14552,ORA-06512等。第一层:ORA-14552: 在查询或 DML 中无法执行 DDL, 提交或回退。ORA-14552: 在查询或 DML 中无法执行 DDL, 提交或回退。ORA-14551: 无法在查询中执行 DML 操作。.........

2022-08-18 11:13:14 267

原创 Oracle数据库迁移,使用expdp/impdp数据泵

按表空间导出,只会导出表空间相关的表,只有按用户导出,会把用户相关的表、存过、package、job等都导出。

2022-08-17 09:20:05 2411

原创 shell分割和清理tomcat日志,通过mtime筛选文件时间

find ./name “*data*” -mtime 1 当前目录下文件名包含data,而且修改时间在1天前当天的,也就是24小时以上,48小时以内。find ./ -name “*data*” -mtime +1 当前目录下文件名包含data,而且修改时间在48小时以上的。find ./name “*data*” -mtime -1 当前目录下文件名包含data,而且修改时间在24小时以内的。mtime ---modify time,改变文件内容的时间。通过crontab设置。

2022-08-15 17:55:16 1156

原创 Oracle数据库的配置文件丢失或损失,重新执行pfile启动

来初始化实例,可以通过 show paramter spfile 命令来查看实例是不是通过 spfile 启动。如果数据库未启动,运行此命令是报错的。首先了解,Oracle中的参数文件是一个包含一系列参数以及参数对应值的系统文件。数据库启动时加载参数文件,按参数文件中的配置决定数据库的物理结构、监听查看是停止的,直接启动失败,因为配置了scan ip。因此需要在服务器指定生成一个新的pfile参数文件。因为无法访问pfile文件,因为在本机新建参数文件。将其中的scan ip替换为服务器的物理ip地址。..

2022-08-11 16:28:14 2252

原创 Linux下find与exec结合使用的妙处

但是如果我们想搜索一个目录下包含某一字符串的文件该怎么办呢?工作中,我们查找某一个文件或者目录名可以用find命令;查找文件内容是否含某一字符串用可以用grep命令;可以将find和exec结合使用。......

2022-08-02 15:22:11 507

原创 weblogic10.3.6.0的安装和打补丁

至/data/app/middleware10/utils/bsu/cache_dir目录。如果是linux命令行,参考上面这篇文章;如果linux有图形化界面会更方便一些。weblogic的安装位置是/data/app/middleware10。当出现“success”或“成功”表示安装成功。其中README.txt会有写需要的内存,............

2022-07-25 14:50:27 1744 1

原创 Oracle中对空字符串的判断

习惯了编程的人喜欢用!=,但这样都是错误的,应该使用isnull或者isnotnull,或者使用nvl函数。=null我们看上去这是对的,但是和null的比较都为fasle,所以结果是false。首先理解,在oracle中,默认将空字符视为null,而对null进行判断都为false。oracle中常见的一个小错误就是字符串判断是否为空。或者使用nvl函数,nvl(字符串,为空时的默认值)...

2022-07-20 16:33:43 7511

原创 weblogic漏洞打补丁,安装OPatch补丁

T3协议的漏洞,共有三个版本受影响10.3.6.0,12.1.3.0,12.2.1.3。Oracle官方补丁需要用户持有正版软件的许可账号,使用该账号登陆。方法1下载oracle官方补丁。weblogic有漏洞。后,可以下载最新补丁。

2022-07-18 14:38:28 2157

原创 Oracle运维常用SQL一览

查询数据文件dbf的位置 客户的业务无法正常使用,最终定位是表空间满的问题。使用上面的查询语句,发现报错的XXA表空间没在里面,一直很疑惑。但在XXA表空间下新建表会报错:ORA-01658: 无法为表空间 XXA中的段创建 INITIAL 区虽然未查询到表空间使用率情况,查询dbf文件位置是可以看到该表空间dbf文件的,直接强制扩展表空间的存储:采用的是方法4Oracle增加表空间大小的四种方法Meathod1:给表空间增加数据文件Meathod2:新增数据文件,并且允许数据文件自动增长

2022-07-01 09:29:25 1301

原创 Oracle创建存储过程并定时执行

创建一个自增表,存储过程是每5分钟定时执行一次,示例如下:创建自增表,通过序列来实现:建表:序列:触发器:执行插入语句: INSERT INTO TEST(name,addr,i_time) values('str','天津',sysdate);查看结果: 创建存储过程:执行存过:结果: 设置定时任务JOB:oracle中的job类似于Linux中crontab的作用,用于定时执行某些操作相关视图:dba_jobs,user_jobs,all_jobs,dba_jobs_ru

2022-06-30 10:36:43 3934

启动脚本的模板,start stop status restart

启动脚本的模板,start stop status restart

2022-10-08

oracle的运维SQL

oracle的运维SQL

2022-07-13

每月定时清理linux服务器上各服务的脚步

每月定时清理linux服务器上各服务的脚步

2022-07-01

Linux中一键重启postgresql的脚本命令

Linux中一键重启postgresql的脚本命令

2022-03-29

oracle11g的安装包

oracle11g的安装包

2022-03-23

Anaconda3-2021.05-Linux-x86_64的安装包

Anaconda3-2021.05-Linux-x86_64安装包

2022-03-23

spacedesk.zip

win系统和安卓平板扩展屏幕

2022-01-17

TortoiseSVN.zip

TortoiseSVN.zip

2022-01-01

PythonProject.rar

PythonProject.rar

2021-12-29

Python脚本自动获取新浪博客文章到word文档中

博客的文章不需要用户登录即可访问,脚本可以获取任一博主的所有历史文章

2021-12-28

读取Excel文档并汇总数据

读取Excel文档,汇总数据后生成一个新的Excel文档

2021-12-28

Python解析创建xml文件的代码

Python解析创建xml文件的代码

2021-12-28

屏幕录像机(oCam)500.0单文件特别版.zip

可以录制电脑内和演讲者的音频以及鼠标的动作

2021-09-08

postgresql9.6.zip

postgresql9.6的RPM安装包

2021-03-03

Job_loopReadTableName.zip

Kettle中的循环作业,类似for循环功能。 在Kettle中通过组件之间的组合使用,可以实现程序中for循环的功能,可以循环执行某一个job或者转换,整体流程附件

2020-04-24

postgres9.6 rpm包.zip

这是postgres9.6 rpm包.zip安装,可以使用rpm -ivh 的命令进行安装

2019-09-19

pgdg-redhat96-9.6-3.noarch.rpm

下载安装包后,执行yum install postgresql96-server命令即可

2019-09-18

密度聚类dbscan算法——matlab编程

本密度聚类算法dbscan是基于周志华老师《机器学习》介绍编程的,经检验效率较高

2018-06-07

k均值算法——MATLAB编程

学习了《机器学习》周志华老师书中对kmeans算法的介绍,自己用MATLAB编程,和网上的其他kmeans比较,运行的更快

2018-06-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除