- 博客(156)
- 资源 (18)
- 收藏
- 关注
RSS订阅
原创 大数据&ETL&kettle学习积累
以下为本博客及其他资料的分享：大数据：Kudu的学习SQL的学习：MySQL的学习，由入门到精通SQL学习分享1之时间命令unix_timestamp、FROM_UNIXTIMESQL学习分享2之分组排序函数ROW_NUMBER() OVER()...
2020-04-23 16:20:57
1400
原创 Linux使用rsync同步文件
其中-v会详细输出过程， -z 表示传输过程中压缩文件，-n表示是测试，并不实际传输。-a: --archives.归档，保留文件的原有属性相当于rlptgoD的选项组合。去掉-n后如下，查看到/tmp/test_dir目录下的a.txt也删除了。-c：--checksum，开启校验功能，强行对文件传输进行校验。--delete-before: 接收者在传输之前进行删除操作。-v：详细输出模式，--verbose。-r：--recursive，递归复制。-q：--quiet，静默模式。
2023-05-12 09:41:33
333
1
原创 Linux中xargs的使用
xargs（英文全拼： eXtended ARGuments）是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。xargs 可以将管道或标准输入（stdin）数据转换成命令行参数，也能够从文件的输出中读取数据。xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。
2023-04-13 11:42:25
225
原创 oracle定时清理未释放的spid脚本
因为系统使用的报表系统是零几年的系统，查询报表后没有自动commit功能，所以会存在使用dblink后session一直未释放的情况，会造成数据库锁。PS：刚开始用sqluldr2导出数据库结果，但是在HP UNIX中sqluldr2使用有问题，改为用spool。因此，写一个定时清理脚本，当来自报表那台服务器ip的查询超过200分钟时，就kill掉。首先使用oracle的spool工具导出对应的spid进程号，然后脚本中kill掉。当锁数量达到40+时数据库服务器的CPU资源占满，影响系统的使用。
2023-04-03 15:43:03
59
原创 Oracle清理高水位线操作，创建大表测试
例如TESTTABLE_BAK0621表数据量是49600000，表空间占用2G多，删除数据后保留640条数据；数据库中经常会有delete数据，但是数据虽然删除，水位线并没有下降，所以查询不会因清理数据加快，表空间也并没有释放。但是很多情况下并没有长远考虑，或者字段没有时间分区，则可以采用expdp以及impdp的方式进行清理；一般在建表前会考虑是否要经常清理表数据，若有需要则建立分区表；通过以下操作后，高水位线会释放；再查询表大小就降下来了。
2023-03-20 17:46:26
122
转载 ORACLE 利用SCN恢复误delete的表
-创建表howard存放数据库的SCN。--得到删除前数据库的SCN，恢复表数据。--kg被删除且已经提交。--查询此时数据库的SCN。--kg是误删除的表。
2023-03-13 11:25:40
48
原创 Oracle表分区的创建、新增、拆分
其中增加POHTER分区是为了防止不符合分区条件是数据插入报错，但是如果直接新增分区会报错ORA-14074: 分区界限必须调整为高于最后一个分区界限，根本原因是存在最后maxvalue分区。解决方法是拆分分区，在split partition时，根据split point原来的partition分裂成两个partition。Oracle中为了方便管理、查询数据当数据量大于500w或者2G时最好用分区表，常见的一种是使用时间作为分区。所以分区拆分的时候，必须从小的开始，否则会提示如下报错。
2023-03-08 15:28:29
1199
原创 Oracle 使用SQL*Loader导入文本数据
把txt或者csv文件导入oracle最方便的方法是通过plsql的文本导入器导入，但是导入大批量数据时文本导入器效率慢，可以使用oracle命令行sqlldr导入更快速。replace :删除旧记录(等价delete from table语句)，替换成新导入的记录；truncate:删除旧记录(等价truncate table语句)，替换成新导入的记录；其中ctl就是控制文件，log是日志，userid是oracle的用户和密码。数据文件就是你的txt或者csv文本文件，控制文件是你写的命令。
2023-03-02 10:59:46
470
原创 SSH 服务支持弱加密算法
最后添加一下内容（去掉 arcfour、arcfour128、arcfour256 等弱加密算法）官网有说明，OpenSSH 7.0 以后的版本默认禁用了一些较低版本的密钥算法。保存文件后重启 SSH 服务：service sshd restart。查看支持的cipher列表,然后将列表中的内容排除掉漏洞中的弱加密列表。方案二：升级 openssh 版本为最新版本。查看到 有不支持的加密算法。
2023-02-20 16:26:14
1191
原创 查看Linux服务器的环境
CPU总逻辑数(32) = 物理CPU个数(2) * 每颗物理CPU的核数(8) * 超线程数(2)CPU总核数(16) = 物理CPU个数(2) * 每颗物理CPU的核数(8)查看内存大小、内存数、内存插槽数。
2023-02-03 12:49:49
932
原创 Apache Drill的学习
Drill的下载地址：Index of /dist/drill参考文章：JDBC使用Apache Drill进行跨库查询_manson7230的博客-CSDN博客Apache Drill 一个实时查询引擎的入门 - 腾讯云开发者社区-腾讯云 Apache Drill详解_天街小雨入江南的博客-CSDN博客_apache drill drill apache_如何指南：Apache Drill入门_dnc8371的博客-CSDN博客
2022-12-06 14:42:46
421
原创 配置Nginx和其他应用的HTTPS访问
使用tomcat或者weblogic部署的应用默认都是http访问的，如果通过https访问，需要ssl证书。tomcat或者weblogic可以配置；同时，另一种方法，https网站中，如果接口服务是http的，那么请求接口就会被拒绝，可以使用nginx做代理转发访问。
2022-11-28 16:01:11
994
原创 scp不输入密码传文件，使用expect实现&expect离线安装
linux服务器之间互相传输文件，可以使用scp命令，但是每次传输文件需要输入密码，解决方法可以是两个服务器直接设置 ，也可以使用except脚本实现。首先需要服务器安装expect，你可以which expect查看服务器上是否有安装。/usr/bin/expect -f：使用expect来解释该脚本。
2022-11-10 18:29:31
522
原创 Tomcat 简易升级方法
但是每次升级tomcat都需要把logs和webapps文件夹重新copy出来，造成了很多不必要的工作量。类似于7.1-8.5的升级、那么更换lib文件夹和bin文件夹下的内容即可。如果类似于8.1到8.5的升级、那么只需要更换lib文件夹的内容即可。下面提供两种方式的升级，仅供参考、更新前最好做好备份，以防万一。由于tomcat版本经常会有漏洞，所以经常需要升级更新。更换后重启tomcat。
2022-11-07 17:46:52
5688
1
原创 oracle的触发器使用
这里要使用before，不然使用after会报错：ORA-04084: 无法更改此触发器类型的 NEW 值，您试图在值保持后更改值。创建触发器实现：插入字段id和str1的时候，str2自动复制str1的值。
2022-10-12 21:32:10
313
原创 keepalived+Nginx实现高可用场景
在实际的生产项目中，我们对服务要实现高可用，这种效果可以用nginx实现；但是nginx只有一台，若nginx的服务器宕了，高可用也就无法实现；所以可以通过keepalived实现nginx的高可用。本文通过虚拟机模拟实现该场景：服务器A安装nginx和keepalived实现服务的主备切换。服务器B安装nginx和keepalived实现服务的主备切换。服务器C和D分别为应用服务。
2022-09-26 23:08:17
1659
原创 Oracle使用group by将多行合并一行
其中str是关键字段，分别表示第一次和第二次测速，将以上数据合并为单行有第一次和第二次测速的数据。场景中有时候需要，对多行数据通过关键字段合并为一行，这个时候可以用分组和decode来实现。...
2022-09-01 14:26:19
1730
原创 自治事务pragma autonomous_transaction的使用场景
做了自治事务的声明后，不但函数中可以用DML语句，甚至可以使用DDL语句，比如CREATE TABLE ,CREATE INDEX等。场景：包体里的函数调用嵌套了两层的存过，存过中有DML，DDL语句，报错ORA-14552,ORA-06512等。第一层：ORA-14552: 在查询或 DML 中无法执行 DDL, 提交或回退。ORA-14552: 在查询或 DML 中无法执行 DDL, 提交或回退。ORA-14551: 无法在查询中执行 DML 操作。.........
2022-08-18 11:13:14
132
原创 Oracle数据库迁移，使用expdp/impdp数据泵
按表空间导出，只会导出表空间相关的表，只有按用户导出，会把用户相关的表、存过、package、job等都导出。
2022-08-17 09:20:05
960
原创 shell分割和清理tomcat日志，通过mtime筛选文件时间
find ./name “*data*” -mtime 1 当前目录下文件名包含data，而且修改时间在1天前当天的，也就是24小时以上，48小时以内。find ./ -name “*data*” -mtime +1 当前目录下文件名包含data，而且修改时间在48小时以上的。find ./name “*data*” -mtime -1 当前目录下文件名包含data，而且修改时间在24小时以内的。mtime ---modify time，改变文件内容的时间。通过crontab设置。
2022-08-15 17:55:16
707
原创 Oracle数据库的配置文件丢失或损失，重新执行pfile启动
来初始化实例，可以通过 show paramter spfile 命令来查看实例是不是通过 spfile 启动。如果数据库未启动，运行此命令是报错的。首先了解，Oracle中的参数文件是一个包含一系列参数以及参数对应值的系统文件。数据库启动时加载参数文件，按参数文件中的配置决定数据库的物理结构、监听查看是停止的，直接启动失败，因为配置了scan ip。因此需要在服务器指定生成一个新的pfile参数文件。因为无法访问pfile文件，因为在本机新建参数文件。将其中的scan ip替换为服务器的物理ip地址。..
2022-08-11 16:28:14
989
原创 Linux下find与exec结合使用的妙处
但是如果我们想搜索一个目录下包含某一字符串的文件该怎么办呢？工作中，我们查找某一个文件或者目录名可以用find命令；查找文件内容是否含某一字符串用可以用grep命令；可以将find和exec结合使用。......
2022-08-02 15:22:11
300
原创 weblogic10.3.6.0的安装和打补丁
至/data/app/middleware10/utils/bsu/cache_dir目录。如果是linux命令行，参考上面这篇文章；如果linux有图形化界面会更方便一些。weblogic的安装位置是/data/app/middleware10。当出现“success”或“成功”表示安装成功。其中README.txt会有写需要的内存，............
2022-07-25 14:50:27
1113
原创 Oracle中对空字符串的判断
习惯了编程的人喜欢用!=，但这样都是错误的，应该使用isnull或者isnotnull，或者使用nvl函数。=null我们看上去这是对的，但是和null的比较都为fasle，所以结果是false。首先理解，在oracle中，默认将空字符视为null，而对null进行判断都为false。oracle中常见的一个小错误就是字符串判断是否为空。或者使用nvl函数，nvl(字符串，为空时的默认值)...
2022-07-20 16:33:43
4371
原创 weblogic漏洞打补丁，安装OPatch补丁
T3协议的漏洞，共有三个版本受影响10.3.6.0,12.1.3.0,12.2.1.3。Oracle官方补丁需要用户持有正版软件的许可账号，使用该账号登陆。方法1下载oracle官方补丁。weblogic有漏洞。后，可以下载最新补丁。
2022-07-18 14:38:28
805
原创 Oracle运维常用SQL一览
查询数据文件dbf的位置 客户的业务无法正常使用，最终定位是表空间满的问题。使用上面的查询语句，发现报错的XXA表空间没在里面，一直很疑惑。但在XXA表空间下新建表会报错：ORA-01658: 无法为表空间 XXA中的段创建 INITIAL 区虽然未查询到表空间使用率情况，查询dbf文件位置是可以看到该表空间dbf文件的，直接强制扩展表空间的存储：采用的是方法4Oracle增加表空间大小的四种方法Meathod1：给表空间增加数据文件Meathod2：新增数据文件，并且允许数据文件自动增长
2022-07-01 09:29:25
840
原创 Oracle创建存储过程并定时执行
创建一个自增表，存储过程是每5分钟定时执行一次，示例如下：创建自增表，通过序列来实现：建表：序列：触发器：执行插入语句： INSERT INTO TEST(name,addr,i_time) values('str','天津',sysdate);查看结果： 创建存储过程：执行存过：结果： 设置定时任务JOB:oracle中的job类似于Linux中crontab的作用，用于定时执行某些操作相关视图：dba_jobs，user_jobs，all_jobs，dba_jobs_ru
2022-06-30 10:36:43
2380
原创 oracle的级联查询connect by
connect by可以用于级联查询，常用于对具有树状结构的记录查询某一节点的所有子孙节点或所有祖辈节点。造测试数据如下： start with condition1 是用来限制第一层的数据，或者叫根节点数据；以这部分数据为基础来查找第二层数据，然后以第二层数据查找第三层数据以此类推。connect by [prior] id=parentid 这部分是用来指明oracle在查找数据时以怎样的一种关系去查找；比如说查找第二层的数据时用第一层数据的id去跟表里面记录的parentid字段进行匹配，
2022-06-29 09:27:40
613
原创 oracle没有主键删除重复记录
测试数据如下所示，有的记录只有一条，有的数据重复两遍，有的数据重复了3遍，现在需要只把重复两遍的数据去重：执行SQL后的结果如下： 当然，实际中会有where的筛选条件，以及去重的不是id单字段，那么可以在上面的SQL中完善，group by 字段a,字段b having count(*)=2...
2022-06-28 10:40:46
303
原创 解决Oracle MySQL 安全漏洞(CVE-2021-22570)
服务器安装mysql，但是扫描出有漏洞Oracle MySQL 安全漏洞(CVE-2021-22570)查看oracle的这个更新公告：Oracle Critical Patch Update Advisory - April 2022 看到在8.0.28之前版本都存在这个CVE-2021-22570漏洞，目前mysql最新的是8.0.29版本，因此升级mysql到29版本上。升级mysql之前先把数据库按库备份，其次不需要重新对mysql初始化。升级步骤参考这篇文章的操作：MySQL5.7升级到MySQL
2022-06-27 13:13:54
5087
原创 OpenSSL拒绝服务漏洞(CVE-2022-0778)的升级
系统扫描时有一个mysql的漏洞： Oracle MySQL/MariaDB 全漏洞(CVE-2022-0778)但实际是openssl服务的漏洞，OpenSSL 项目组于 2022 年 3 月 15 日发布安全公告披露 CVE-2022-0778 号漏洞，该漏洞严重性为高，CVSS 评分 7.5 分/ 10 分。升级：OpenSSL 1.0.2 版用户应升级到 1.0.2zd 版（仅限高级支持客户）、OpenSSL 1.1.1 版用户应升级到 1.1.1n 版、OpenSSL 3.0 版用户应升级到 3.
2022-06-24 15:27:13
3932
原创 Jboss的下载和安装
jboss有开源和商业两个版本，他们区别如下：JBoss AS 开源社区版本，发布比较频繁。JBoss 7 ，先后发布了 7.0.0, 7.0.1, 7.0.2, 7.1.0, 7.1.1, 7.1.2, 7.1.3, 7.2.0，其中 7.1.1 比较经典，7.2.0 是 JBoss EAP 6.1 的基础，但7.1.2, 7.1.3, 7.2.0 只是源代码打了 Tag，并没提供开放下载。JBoss EAP（Enterprise Application Platform） 在开源版本上构建的企业版本，目
2022-06-24 11:30:24
1973
原创 升级redis7解决CVE-2022-24735，CVE-2022-24736 两个漏洞
Redis目前版本6.2.6，升级redis7解决CVE-2022-24735 CVE-2022-24736 两个漏洞在同一台服务器中升级redisredis安装包官网下载地址：Download | Redis注意：redis 偶数为稳定版本，奇数为开发版本。安装包上传到linux服务器后，解压缩：redis的安装位置我选择/usr/local/redistar -zxvf redis-7.0.2.tar.gz更名移动解压后的目录文档mv redis-7.0.2 /usr/local/redis停止目前
2022-06-20 17:10:02
2145
原创 MySQL5.7升级到MySQL8（离线安装升级）
MySQL5.7的安装见此文章：MySQL5.7版本Liunx系统下安装_大宇进阶之路的博客-CSDN博客现在最新的mysql8版本安装包，MySQL软件下载官网：MySQL :: Download MySQL Community Server (Archived Versions)解压mysql8安装包：并更改名称为mysql8，放到原先mysql5.7的目录下 更改mysql8的目录权限：chown -R mysql:mysql mysql8 修改vim /etc/my.cnf配置文件尾部增加配置：c
2022-06-17 13:50:14
3967
原创 MySQL5.7版本Liunx系统下安装
Linux服务器版本：CentOS Linux release 7.6.1810 (Core)MySQL软件下载官网：MySQL :: Download MySQL Community Server (Archived Versions)我的系统是64位，选择相应选项下载。useradd mysql会自动创建mysql同名的用户组。mkdir -p /home/mysql/datachown -R mysql:mysql /home/mysql/data解压mysql tar -xvf mysql-5.7.
2022-06-16 18:08:16
245
原创 Oracle使用imp exp 导入导出数据
exp student/123456@orcl file=d:\student.dmp tables= stuinfo buffer=4096 log=d:\student.logexp student/123456@orcl file=d:\student.dmp tables= stuinfo buffer=4096 log=d:\student.log query=&
2022-06-10 11:36:27
652
转载 什么是PON？EPON
光纤接入网（Optical Access Network，OAN）是指在接入网中采用光纤作为主要传输介质来实现信息传送的网络形式，根据光纤接入网传输设施中是否采用有源器件分为AON有源光网络和PON无源光网络。根据采用的技术不同，PON可以分为APON，即基于ATM技术的无源光网络，后来更名为BPON宽带无源光网络；EPON，基于以太网的无源光网络；GPON吉比特无源光网络，GPON是BPON的扩展。AON比PON传输距离长，传输容量大，业务配置灵活，但不足之处是成本高、需要供电系统、维护复杂。而PON结构
2022-06-08 16:22:56
1459
原创 Weblogic12c 安装部署/开发和生产模式区别
weblogic12c从oracle官网上下载即可，选generic版本，官网地址：Free Oracle WebLogic Server 12c (12.2.1) Installers for Development 新建用户和用户组weblogicWeblogic安装1.创建响应文件 wls.rsp注意：响应文件中的项一定要写全，否则会报参数不足等错误2.创建 oraInst.loc文件3.安装weblogic打印 completed successfully说明安装完成4.
2022-06-06 17:51:48
807
Job_loopReadTableName.zip
2020-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人