自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

奋斗的阿杰的博客

数据捏我千百遍,我待数据如初恋,专注ETL、数据开发、系统维护等领域

  • 博客(138)
  • 资源 (15)
  • 问答 (5)
  • 收藏
  • 关注

原创 大数据工程师就业前景及发展方向分析

大数据才是做DB开发的未来,无大数据经验,很难混啊

2022-07-22 15:38:15 6496

转载 常见的互联网数据指标

数据分析思维

2020-10-18 18:08:51 2821

原创 Oracle对数据库行和数据库的监控

本文是实现Oracle对数据行、数据库的监控,仅供参考

2024-07-25 10:44:15 965

原创 Docker离线和在线安装部署

docker离线和在线部署安装

2024-06-28 15:13:07 766 1

原创 Nginx在线部署和离线部署方式

允许sendfile方式传输文件,默认为off,可以在http块,server块,location块。#连接超时时间,默认为75s,可以在http,server,location块。#最大连接数,默认为512。

2024-06-04 21:40:54 787

原创 Oracle数据立方体多维数据用CUBE处理

Oracle数据立方体多维数据用CUBE处理

2024-05-16 12:07:09 246

原创 【经验03】spark处理离线数据速度缓慢遇到的坑

03-spark处理离线数据速度缓慢遇到的坑

2024-05-14 17:51:30 186

原创 【经验02】记录一次生产spark离线任务产生数据倾斜的问题处理

记录一次生产spark离线任务产生数据倾斜的问题处理

2024-05-09 17:18:08 198 1

原创 【经验01】spark执行离线任务的一些坑

spark跑离线任务的一些坑

2024-05-08 12:04:52 191

原创 Oracle闪回数据库【Oracle闪回技术】(二)

Oracle默认是不开启闪回数据库的。如果开启闪回数据库的前提条件是,开启Oracle归档模式并启用闪回恢复区。因为闪回日志文件存放在闪回恢复区中,如果在RAC环境下,必须将闪回恢复区存储在集群文件或者ASM文件中。

2024-05-07 14:47:00 1263 2

原创 理解Oracle闪回级别【Oracle闪回技术】(一)

Oracle闪回技术

2024-05-07 14:40:19 581

原创 Oracle优化重做日志缓冲区【数据库实例优化系列四】

Oracle优化重做日志缓冲区【数据库实例优化系列四】

2024-05-07 14:30:08 104

原创 Oracle数据常驻程序内存优化【数据库实例优化系列三】

在生产中,为提高用户的访问速度。可以将经常使用的表常驻与内存中。避免频繁的访问磁盘,降低IO。虽然会占用一定的内存,但是效果还是很明显的。如果不是用了,DBA可以将其删除。

2024-04-30 15:52:25 427 2

原创 Oracle程序常驻程序内存优化【数据库实例优化系列二】

Oracle程序常驻程序内存优化【数据库实例优化系列二】

2024-04-30 15:48:07 331 1

原创 Oracle系统参数调整【数据库实例优化系列一】

Oracle实例是:内存组件和相关的后台进程组成。这些内存组件提高了数据库的运行,而后台进程负责管理系统和内存组件。

2024-04-27 20:00:11 368 2

原创 Oracle之RMAN联机和脱机备份(二)

Oracle之RMAN联机和脱机备份(二)

2024-04-25 23:44:02 215 2

原创 Oracle之RMAN连接数据库及备份与恢复(一)

Oracle之RMAN连接数据库及备份与恢复(一)

2024-04-23 21:43:37 333 1

原创 Oracle解析exp、imp及常见的问题

Oracle解析exp、imp及常见的问题

2024-04-21 17:05:00 381 1

原创 Oracle之SQL plus的一些经验心得

Oracle之SQL plus的一些经验心得

2024-04-21 12:32:09 275

原创 Oracle删除数据库的步骤【谨慎操作】

Oracle删除数据库的步骤【谨慎操作】

2024-04-20 18:22:30 487 1

原创 Oracle使用内部包自定义创建表空间和用户

Oracle使用内部包自定义创建表空间和用户

2024-04-20 17:26:38 408 1

原创 【已验证】PostgerSQL之pg_rman项目实战

PostgerSQL之pg_rman项目实战

2024-04-14 23:54:41 174 1

原创 【已测试】PostgreSQL备份和还原

pg的备份和还原,生产环境容灾

2024-04-14 19:02:50 155

原创 PG事务、事务隔离级别、并发控制

pg事务、事务隔离级别与并发控制

2024-04-13 22:09:49 92 1

原创 Oracle备份和还原的几种方式

导出指定表exp demo/demo@orcl file=d:\backup2.dmp tables=(teachers,students)exp 用户名/密码@远程的IP:端口/实例 file=存放的位置:\文件名称.dmp full=y。ignore: 忽略错误,如果表已经存在,则也是覆盖。file: 具体的备份文件地址。full: 是否导出全部文件。buffer: 缓存大小。demo:用户名、密码。

2024-04-05 10:16:17 522 1

原创 Oracle常规操作

when t.WAIT_CLASS='Idle' then '空闲类' else null end wait_name。when t.WAIT_CLASS='Commit' then '提交确认类'when t.WAIT_CLASS='Network' then '网络类'when t.WAIT_CLASS='Network' then '网络类'when t.WAIT_CLASS='Other' then '其他类'when t.WAIT_CLASS='Other' then '其他类'

2024-04-04 18:18:06 305

原创 postgresql并行查询(高级特性)

postgresql开启并行,用于性能优化

2023-09-03 19:26:43 1208

原创 Oracle之hint介绍

Oracle之hint介绍

2023-08-14 17:39:38 964

原创 Oracle根据日志执行相应的存过处理逻辑

Oracle根据日志执行相应的存过处理逻辑

2023-07-23 15:37:53 379

原创 如何监控Linux和Oracle数据库运行状态

如何监控Linux和Oracle数据库运行状态

2023-07-22 21:18:56 604

原创 Oracle输出文本平面(CSV、XML)文本数据详细过程

使用Oracle存过的方式生成csv文件,使用SQL语句生成xml文件数据

2023-07-22 15:24:13 648

原创 Hadoop和hive一键启动脚本

Hadoop和hive一键启动脚本

2023-07-17 23:51:28 521

原创 解决Hadoop集群hive库建表中文和表数据乱码问题

解决Hadoop集群hive库建表中文和表数据乱码问题

2023-07-17 23:32:23 526

原创 HDFS体系结构及基本概念

HDFS体系结构及基本概念

2023-07-16 18:45:10 319

原创 分布式文件系统与HDFS的shell操作及查看元数据

分布式文件系统与HDFS的shell操作及查看元数据

2023-07-16 17:05:30 2214

原创 【持续更新】Hadoop笔记

Hadoop笔记

2023-07-16 09:28:18 229

原创 Linux进程监控及控制【命令ps的使用】

Linux进程检测和控制,ps命令详解

2023-07-10 23:51:59 426

原创 Oracle批量生成供datax调用的json文件及可执行sh脚本

Oracle批量生成json文本和sh脚本

2023-07-10 23:27:07 694

原创 【珍藏版】linux lsof命令详解

linux lsof命令详解,各种参数说明及常用的实例

2023-07-09 14:21:05 817

原创 使用DataX同步数据(小白步骤,一看就懂)

datax同步以后数据。比如Oracle,SQL server,MySQL,Hadoop,pg,mdb

2023-07-02 12:55:04 362

使用crontab检测Linux和Oracle运行是否正常

使用crontab检测Linux和Oracle运行是否正常 1、设计详细步骤。 2、生产和测试环境已经验证

2023-07-23

Linux服务器备份Oracle脚本及设置CRON详细步骤

Linux服务器备份Oracle脚本及设置CRON详细步骤。 1、包含shell脚本 2、包含crontab的详细设置 3、线上生产环境专用脚本

2023-07-22

hadoop之shell操作及查案元数据

hadoop之shell操作及查案元数据。 1、批量查询表结构 2、批量导出DDL

2023-07-16

Oracle+DataX+存储过程实现异构库之间的数据同步

Oracle+DataX+存储过程实现异构库之间的数据同步。 0、设计文档 1、Oracle批量生成json文件 2、Oracle批量生成shell脚本 3、Oracle存过执行shell脚本

2023-07-10

MySQL数据恢复的三种常用的方式

方法1、通过表备份的方式 方法2、idb文件丢失(有备份的表的情况) 方法3、使用MySQL的binlog的方式

2023-07-05

datax的异构数据同步

datax的异构数据同步,配置简单,效率很高,对Oracle,MySQL,SQL server ,Hadoop,pg完美支持。 支持全量同步 支持增量同步 文档超详细,图文讲解

2023-07-02

kettle对数据分表插入

kettle对数据分表插入 数据库Oracle etl工具 kettle 通过java脚本,hash算法,实现分表数据写入

2023-06-01

kettle动态解析XML文件数据导入Oracle或者其他数据库

kettle动态解析XML文件数据导入Oracle或者其他数据库 需求背景: 因为客户每天都要通过接口通过ftp上传固定格式的xml的文件,需要每天定时解析指定目录下的指定名称的xml文件导入Oracle和其他的数据库,所以开发了这个。 生产环境的,没有问题呦

2023-05-26

Oracle使用命令行批量执行带参数及用户名是变量的SQL文件

Oracle使用命令行批量执行带参数及用户名是变量的SQL文件 因为数据存在不同的Oracle数据库中,DDL是相同的,处理逻辑也是相同的,但是库名不一样。 因为客户想要所有用户下的指标数据,如果挨个执行sql文件,工作量巨大,所以写了这个逻辑。 使用Oracle命令行的方式,批量执行Oracle不同用户下的sql文件,where条件带变量的操作。

2023-05-25

kettle批量解析多个xml文件

kettle批量解析多个xml文件,适合于批量数据导入,生产环境直接测试,肯定没有问题

2023-05-25

Oracle批量执行传多个参数多个SQL文件

Oracle批量执行传多个参数多个SQL文件,适合于跑批,生成环境直接测试,没有问题

2023-05-25

kettle循环导出数据到Excel中

kettle循环导出数据到Excel中。 也可以扩展到,循环处理逻辑或者循环处理作业

2023-05-24

大型B2C商城项目数据库实战Oracle代码实现

1;用户登入模块 2;角色管理模块 3;卡片类别管理模块 4;汇款审核模块 5;公告管理模块 6;商品列表模块 7;购物车模块 8;投诉汇款模块 9;汇款记录及购物车记录模块

2023-03-05

PostgreSQL 查询所有数据库大小

PostgreSQL 查询所有数据库大小,表大小,索引大小,以及表空间大小

2022-11-06

Linux下PostgreSQL安装部署详细步骤

Linux下PostgreSQL安装部署详细步骤,亲测,包含dbeaver 连接数据库 1,安装包下载 2,解析源码 3,配置环境变量 4,创建用户,授权,创建数据库

2022-11-06

Oracle2Oceanbase数据迁移示例,多表迁移

Oracle2Oceanbase数据迁移示例,多表迁移。 源库:Oracle 目标库:oceanbase

2022-10-27

dbbridge单机和集群安装与配置

dbbridge单机和集群安装与配置 1,集群安装 2,单机安装 3,性能调优

2022-10-09

Linux服务器对Oracle、MySQL数据库性能,和精细化指标预警,邮件监控的功能实现

Linux服务器对Oracle、MySQL数据库性能,和精细化指标预警,邮件监控的功能实现。 1、shell脚本分别实现Oracle、MySQL情况下的邮件预警 2、分别对Oracle、MySQL的读取SQL文件做了调整 a.分别在Oracle、MySQL读取 .sql文件的形式,写邮件 b.分别在Oracle、MySQL情境中,执行SQL语句的形式,写邮件

2022-04-09

ETL之kettle实现异构库表的数据增删改功能

ETL之kettle实现异构库表的数据增删改功能

2022-04-02

Oracle删除亿级表数据的参考方法

1、使用存储过程的方法 2、使用游标的方法 3、进行对表数据的维护 4、执行表正确的CBO操作

2022-03-27

shell根据.sql文件,根据执行后的结果日志判断是否执行下一步

3、 执行sql文件/service/script/update.sql(数据库假定为Oracle,连接信息任意),并判断 a) 如果执行成功,则执行另外一个文件/service/script/trigger.sql b) 如果执行失败,则将返回错误记录到/service/log/err_<当前日期时间,格式为2022031513456.log

2022-03-15

/service/file目录下,存在多级子目录,各级目录下存在多种文件,删除该目录以及子目录下所有文件目录,但保留所有一级子目

/service/file目录下,存在多级子目录,各级目录下存在多种文件,删除该目录以及子目录下所有文件目录,但保留所有一级子目录

2022-03-15

Linux删除多级目录下的文件且保存目录脚本

/service/file目录下,存在多级子目录,各级目录下存在多种文件,删除该目录以及子目录下所有文件目录,但保留所有一级子目录

2022-03-15

2022年日期维度(包含国家法定节假日和其他节假日)

2022年日期维度(包含国家法定节假日和其他节假日)

2022-03-04

RHEL Linux 安装yum源详细步骤(包含源包链接).txt

RHEL Linux 安装yum源详细步骤(包含源包链接),非常详细。

2020-07-04

RHEL Linux 离线安装MySQL8详细步骤(包含源包链接).txt

RHEL Linux 7详细安装MySQL8.0.2的详细步骤,以及完整的安装包。非常详细。

2020-07-04

Linux下分库备份MySQL详细步骤(包含脚本).txt

分库备份,可以有效的快速的备份数据。能够有效的保障某个库如果出现问题,快速的恢复。执行一个备份语句,备份一个库。如果数据里有多个库,就是执行多条相同的语句备份数据。注意文件名不应相同,以.sql文件结尾。

2020-07-04

mysql主从复制配置(完整已测试).txt

(1)首先,mysql主库在事务提交时会把数据库变更作为事件Events记录在二进制文件binlog中;mysql主库上的sys_binlog控制binlog日志刷新到磁盘。 (2)主库推送二进制文件binlog中的事件到从库的中继日志relay log,之后从库根据中继日志重做数据库变更操作。通过逻辑复制,以此来达到数据一致。 Mysql通过3个线程来完成主从库

2019-09-26

Informatica优化(经验总结)

近来由于工作需要,使用informatica powercenter,对powercenter优化有几点浅微见解: 1、为平衡性能,在数据库可接受范围内尽量在数据库中进行数据排序,即在source qualifier里sql语句中进行排序; 2、抽取数据时只抽取需要字段,尽量减少输入输出端口,在其他组件也类似,一旦字段不需要输出,取消输出端口的选中状态; 3、数据要尽量早过滤,减少mapping过程中携带的数据量。。。。

2019-01-24

SQLserver数据库自动化备份

数据库备份脚本,自动删除就得备份和生成新的备份,已经亲自测试

2018-09-17

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除