- 博客(31)
- 收藏
- 关注
RSS订阅原创 Oracle连接mysql
oracle使用的11g，在一台windows服务器；mysql使用的是5.7版本，在另一台windows服务器，这两个服务器之间的网络是互通的。做BI时，要获取不同数据源的数据，这些数据源可能是Oracle，也可能是sqlserver、mysql。当使用Oracle作为数仓归集数据时，可以使用专门的ETL工具，从其他类型的数据源获取数据，也可以直接使用Oracle的网关技术+dblink，直连这些非oracle的关系型数据库。
2024-07-01 10:31:05
1003
原创 oracle发送https请求
oracle发送https请求与发送http请求没有本质的不同，只是需要在发送前在请求上下文中加入wallet信息。
2024-06-20 09:43:45
1054
原创 oracle发送http请求
UTL_HTTP包让SQL和PLSQL能够调用超文本传输协议（HTTP），也就是说可以使用它在Internet上访问数据。当包用HTTPS从Web site获取数据时，要使用Oracle Wallet，它是由Oracle Wallet Manager或者orapki utility创建。非HTTPS获取时，则不需要Oracle wallet。参照。
2024-06-17 14:39:45
816
原创 oracle准确记录数据提交时间
ora_rowscn是oracle10g版本中提出的概念，是一个伪列，用来记录数据提交时的scn，而scn是唯一的，且scn的先后就是commit的时间的先后。默认建表方式的ora_rowscn记录的是scn是精确到block的，而不是row，此时ora_rowscn取自data block header中的scn。oracle中数据发生变动时，如何准确记录发生变动时的时间。注意：mysql中的默认值同样记录的是dml操作发出时的时间，并且没有找到mysql中准确记录commit时间的方法。
2024-05-27 14:36:02
432
原创 mysql5.7允许root远程访问
这是由于mysql的root用户默认禁止远程访问，可以通过两种方式改表或者授权的方式开启远程访问。本文中使用改表的方法。mysql客户端工具配置完成后，测试联通失败，客户端真正连接mysql时，也报错不允许root@ip连接。
2024-05-27 14:18:41
396
原创 clickhouse mergeTree之跳数索引
许多因素会影响ClickHouse查询性能。大部分场景下最关键的因素是，当解析评估查询WHERE子句条件时，ClickHouse能否使用primary key。因此，一个有效的表设计，就是要根据大部分查询模式，选择一个primary key。然而，无论如何仔细优化设计primary key，仍然不可避免还是有查询用例无法有效使用primary key的情况。
2024-05-17 16:53:07
1108
原创 oracle数据库监听日志满了（4G）处理步骤
默认监听名为listener，直接在服务器中搜索listener.log文件。遇到这些现象基本是监听日志已满，达到了4G。D:\app\Administrator\diag\tnslsnr\计算机名\listener\trace\listener.log。3、按照路径 【控制面板】——【服务】——【监听服务】，含ora、listener字样，右键停止。5、新建文本文件，【文件名.扩展名】改为【listener.log】，与之前保持一致。6、按照路径 【控制面板】——【服务】——【监听服务】，右键启动。
2024-05-17 10:47:11
747
原创 clickhouse mergeTree表引擎解析
参照Clickhouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（*MergeTree）中的其他引擎。MergeTree 系列的引擎被设计用于将极大量的数据插入到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。主要特点。
2024-05-09 14:39:23
848
原创 hive使用hplsql进行etl或其它数据加工
参照Hive HPL/SQL，即Hive Hybrid Procedural SQL一个开源工具，它为hive实现了过程性的SQL功能，类似Oracle的PLSQL。从hive 2.0.0开始出现，自此hive的etl更便利。hplsql命令位于路径$HIVE_HOME/bin/hplsql。注意：该HPLSQL命令能被执行的前提是要执行 hive --service hiveserver2 启动hive。
2024-04-29 15:17:58
519
3
原创 clickhouse与oracle传输数据
参考clickhouse官方提供了一种方式，可以实现clickhouse与oracle之间传输数据，不仅仅是oracle，而且是一类支持jdbc的数据库，这种方式就是JDBC bridge for ClickHouse它可以作为一个无状态的代理将查询传递到外部数据源。由于这个扩展功能，你可以在clickhouse上运行分布式查询，这查询能够做到实时跨多数据源。
2024-04-26 09:57:28
779
1
原创 clickhouse安装部署
虚拟机：virtualbox7.0操作系统：ubuntu server 22.04.3虚拟机硬件：cpu 1，内存 2G， 硬盘 100G采用默认安装参照。
2024-04-26 09:49:06
1003
1
原创 hive使用sqoop与oracle传输数据
下载地址两个版本sqoop1（1.4.x）和sqoop2（1.99.x），两种不同的架构。本文使用sqoop1。sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。导入数据：从MySQL、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等存储系统。导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。sqoop的工作机制是将导入导出命令翻译成mapreduce程序来实现。
2024-04-15 10:19:04
1110
3
原创 hive图形化客户端工具
并且重启hive服务时，要以root用户登录，使用命令 hive --service hiveserver2 启动hive服务。hive部署完成后，路径$HIVE_HOME/jdbc/hive-jdbc-3.1.3-standalone.jar有有完整的hive的jdbc驱动，直接使用即可。dbeaver上传驱动时，使用hive-jdbc-1.0-SNAPSHOT-jar-with-dependencies.jar。使用idea新建项目，按照如下所示，然后在pom中添加hive-jdbc依赖。
2024-04-07 10:51:49
934
原创 ubuntu-server部署hive-part4-部署hive
参照操作系统版本：ubuntu-server-22.04.3虚拟机：virtualbox7.0。
2024-04-02 17:26:24
1320
1
原创 ubuntu-server部署hive-part3-安装mysql
参照操作系统版本：ubuntu-server-22.04.3虚拟机：virtualbox7.0。
2024-04-02 17:13:31
1089
1
原创 ubuntu-server部署hive-part2-安装hadoop
参照操作系统版本：ubuntu-server-22.03.4虚拟机：virtualbox7.0。
2024-04-01 10:27:45
1243
原创 ubuntu-server部署hive-part1-安装jdk
参照操作系统版本：ubuntu-server-22.03.4虚拟机：virtualbox7.0。
2024-04-01 10:01:11
371
原创 oracle存储过程访问sys表视图时权限处理
示例如下，匿名存储过程可以正常输出，但具名不可以，会提示表或视图不存在即使加上authid current_user仍然会提示表或视图不存在。那么用户创建存储过程时，需要在存储过程前添加authid current_user。或者直接将该表视图权限授权给用户。show parameter O7_DICTIONARY_ACCESSIBILITY，默认值show显示是FALSE，按照如下调整。-- 测试用户创建：匿名存储过程。-- 测试用户创建：具名存储过程。-- 调用具名存储过程。-- 创建具名存储过程。
2024-03-15 14:10:58
1014
1
原创 Oracle-sql执行计划解析
参照Oracle的执行计划是sql调优的基础执行计划是optimizer（优化器）为SELECT、UPDATE、INSERT、DELETE语句选择的，一个语句的执行计划是数据库运行语句时各项操作的顺序。
2024-03-11 20:43:25
1332
原创 Oracle优化sql语句
通过使用SQL Tuning Advisor （SQL优化顾问）和SQL Access Advisor（SQL访问顾问），可以以顾问模式运行查询优化器，测试一个或者若干sql语句，然后判断如何去改善效率。SQL 优化顾问和SQL访问顾问可以做出各种推荐方案，例如创建SQL profiles，重构SQL 语句，创建索引或者物化视图，刷新优化器统计数据。顶级活动页面的Top SQL部分出现的SQL语句是被按照wait class进行分类的，A区域中的图例就是相应的wait class。
2024-03-04 10:45:54
927
1
原创 Oralce自动数据库诊断监视器ADDM
参照Automatic Database Diagnostic Monitor（ADDM）能自动侦测并报告数据库的性能问题。ADDM发现的这些结果会显示在Oracle Enterprise Manager（EM）的Database Home页。反复查看ADDM的发现，能够快速识别出需要你注意的性能问题。
2024-03-04 10:32:57
605
1
原创 Oracle启用Enterprise Manager（EM）
参照在oracle中，em是“Enterprise Manager”的缩写，是Oracle的企业管理器；可通过em来使用web界面监控、管理、维护，管理Database、middleware、application全系的软件。优点就是非常直观明了。如果数据库没有启动、监听没有启动，以oracle用户登录服务器，再sys登录系统，启动数据库。oracle用户启动监听。
2024-03-04 10:18:09
1146
1
原创 postman安装使用（mac）
postman用于测试http协议接口，无论是开发、还是测试人员，都有必要学习使用postman来测试接口，用起来非常方便。postman可以直接在chrome、safari上安装插件，也可以在电脑本地安装postman客户端工具。也就是说postman可作为适用于mac、windows、linux操作系统的本机桌面应用程序使用。第三方网站下载官网。
2024-02-26 10:39:42
3730
1
原创 oracle启用REST资源保护
之前的文档中创建RESTful endpoints时，都没有启用security，这样方便测试。本部分内容针对之前创建的 /test/ttest/ service，启用授权。控制对保护resource的访问，是通过定义privileges实现的。限制访问后，用户至少要有Privileges中指定的一系列角色中的一个，才能访问相应的resource。
2024-02-26 10:05:56
705
1
原创 oracle安装ords启用rest数据服务
Oracle REST Data Services（ORDS）是让oracle数据库启用https功能。它作为一个中间层Java应用，ORDS提供了数据库管理REST API、SQL Developer Web、PL/SQL网关和适用于REST的SODA，并且支持发布RESTful Web服务，可与Oracle数据库中的数据和存储过程进行交互。安装参照下载地址ords版本：21.4.2。
2024-02-19 09:27:38
909
原创 linux安装oracle
oracle linux版本：OracleLinux-R7-U9-Server-x86_64oracle版本：11.2.0.4参照安装手册：https://docs.oracle.com/cd/E11882_01/install.112/e24326/toc.htm以下内容：root登录执行、检查硬件要求、检查软件要求都是非必需步骤，一般都是符合的，包要求除外，有些包必须安装。
2024-02-13 11:25:39
1245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人