JJBOOM425的博客

相关环境：Oracle 11g：11.2.0.1.0MySQL：8.0.22前期准备：1、打开Oracle的logminera.在SQL Shell中，以具有DBA的用户身份登录数据库：sqlplus /nolog;conn / as sysdba;b.检查数据库日志记录模式：select log_mode from v$database;如果查询结果是ARCHIVELOG，则以下操作都不用执行，如果命令返回NOARCHIVELOG，请继续执行以下步骤：c..

一、设置镜像curl https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo > /etc/yum.repos.d/mssql-server.repo二、通过yum安装SQLServeryum install -y mssql-server三、运行安装程序A.安装以后我们可以在opt下面看到mssql这个路径，具体的执行文件在这里面：B.运行/mssql/bin/mssql-conf

背景：要求学校内各同学每天起床的平均时间，所以我们需要筛选出某学期内早上五点~早上十点之间的全部数据。之前如果是使用SQL Server，则可以使用CONVERT函数，具体代码如下：select * from v_come_out_record t where t.co_time between '2020-6-27' and '2020-11-27' and convert(varchar(5),t.co_time,114) between '05:00' and '10:00'但是我也

这次的测试是失败了的，有这个需求的小伙伴可以参考一下。主要原因可能是因为要测试的是Oracle 10g的数据库，所以一些StreamSets支持的参数变化的比较大。但是过程可以参考一下，一直到最后的验证其实都没有问题了。1、打开StreamSets管理界面在CDH中进入StreamSets的管理界面，点击WebUI：获取到打开StreamSets界面的格式与端口号： http://192.168.129.***:186302、创建一个新的管道填写新建管道的一些信息..

hbase原理及时间戳管理介绍分布式的、面向列的开源数据库hdfs文件存储MR处理数据zookeeper做协同服务hbase 表数据以表存储，表含行、列，列分为列簇（family），如下图：key1,key2,key3是三条记录的唯一row key值，column-family1,column-family2,column-family3是三个列族每个列族下包括几列，如列族 column-family1包括两列 column1 和 column2ro...

这里遇到一个问题，需要将Oracle中的图片数据导入到ElasticSearch中，大佬推荐方案将其中的数据通过64编码后上传到ElasticSearch中。这里做一个简单的总结。之前方案其实在之前也考虑通过file文件上传本地路径下，然后再解析。发现上传后的文件格式不能打开。logstash中的配置文件 LGT_ZP_SJ.config 内容：input { jdbc { jdbc_driver_library => "/home/logstash/libs/ojdbc

今天修改了一些配置，重新启动OGG时直接闪退，然后查看ggserr的报错日志，发现报了下面这个错：.......2020-07-16 15:44:59 INFO OGG-03035 Oracle GoldenGate Capture for Oracle, EXTKAFKA.prm: Operating system character set identified as GBK. Locale: zh_Hans_CN, LC_ALL:.2020-07-16 15:44:59 INFO...

之前我已经安装好了目标端的Oracle GoldenGate for Big Data。可以看这篇博客：Oracle Golden Gate(OGG)学习——目标端安装Big DataLinux系统中先进入到OGG安装的目录，使用 ggsci 打开控制程序：1、配置mgr进程GGSCI > edit params mgr目标端mgr进程配置信息：PORT 7809DYNAMICPORTLIST 7810-7860AUTORESTART ER *, RETRIES 3,

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。基本概念先说Elasticsearch的文件存储，Elasticsearch是面向文

Logstash概念Logstash是一款开源的数据收集引擎，具备实时管道处理能力。简单来说，logstash作为数据源与数据存储分析工具之间的桥梁，结合ElasticSearch以及Kibana，能够极大方便数据的处理与分析。通过200多个插件，logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。Logstash工作过程如上图，Logstash的数据处理过程主要包括：Inputs,Filters,Outputs 三部分，另外在Inputs和Ou

这里测试ogg的源端与目标端的使用：1、在源端Oracle创建测试的student数据表CREATE TABLE "OGG"."student"( "sid" NUMBER(8,0), "sname" VARCHAR2(14), "sex" VARCHAR2(13), "class" VARCHAR2(13), PRIMARY KEY ("sid"))2、源端添加配置管理、抽取与投递A.添加studen表附加日志首先在源端的O...

1、在我的电脑右键点击服务，然后在服务和应用程序--->中找到Oracle的服务。将他们全部先关闭：2、使用Universal Installer 启动卸载在开始目录找到Oracle10g的安装目录，点击Universal Installer 启动卸载比较新的系统一般会在执行先决条件遇到如图的问题：然后报错：3、找到文件路径右键属性，在兼容性中选择XP模式运行：然后点击右下角应用后确定执行4、可以打开卸载界面，点击右下角的卸载5、选择

今天测试Oracle GoldenGate时参考了网上别人写的博客，但是在创建复刻表时就报了ERROR: No viable tables matched specification . 这个错误。报错提示说没有符合规格的可行表格，但是这个表我确实创建好了：后面看了创建表的语句：CREATE TABLE "OGG"."student" ( "sid" NUMBER(8,0), "sname" VARCHAR2(14), "sex" VARCHAR2(13), "cla.

由于业务需求，需要从Oracle数据库中获取某表的修改日志信息。这里讲解一下在GitHub中kafka-connect-oracle 连接器的部署。1、GitHub中下载项目kafka-connect-oracle2、添加配置a.数据库必须处于archivelog模式： sqlplus / as sysdba //sqlplus sys/sys as sysdba; SQL>shutdown immediate SQL>startup moun

GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。一、版本选择与前期准备OGG安装版本与Oracle的匹配，可以参考这个网站：版本参考但是最好还是查看Oracle的官方文档，之前我也因为版本的问题安装一直失败。先看Oracle的版本：先看Oracle的版本：因

这里总结一下项目中遇到的一些问题与使用记录一下，做个总结，方便以后查阅。1、首先查看对应表在数据库中的表结构这里我就举其中一个表为例（GXTS_MJSKXX-门禁刷卡信息表）：2、在hive中创建对应的表结构，为load数据做铺垫（创建时按照日期与时间创建双分区）CREATE TABLE SJBZK.GXTS_MJSKXX_copy ( ID string, YHM st...

今天需要在mysql已有的表中添加一些新的数据，并且数据有指定的列。前辈教了一招套路，这里记录一下，以后可以继续用。一、了解要解决的问题首先咱们先看目标表的格式：然后看看我们要插入的数据信息：这里我也首先试着手动插入一条数据：insert into deviceLocation(cameraName,type,deviceCode) values("00-06-F4-...

今天由于项目需求，需要将Oracle中的某表数据使用sqoop导入到hive中，但是在导入过程中出现了一些小问题，原先时间数据为 年-月-日 时:分:秒，结果导入后别的数据没有问题，但是时间数据只有 年-月-日。这里讲如何解决这个问题。首先先看看我导入的表结构：第一次导入的语句：sqoop import --connect jdbc:oracle:thin:@192.168...

今天在hue上将数据统计了一下，然后需要导出到mysql中给别人进行展示。由于是第一次在这里导出数据，所以出了一些问题，这里总结一下解决思路与解决办法。一、首先先在mysql中创建导出的表这里要确认字段属性与hive中的一致。CREATE TABLE `unperceived` ( `humanid` varchar(50) NOT NULL, `credentialsnum...

1.字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length('abcedfg') from lxw_dual;72.字符串反转函数：reverse语法: reverse(string A)返回值: string说明：返回字符串A的反转结果举例：...

hivesql 如何实现分组后拼接同一列的字符串呢？分组之后，在组内对某一列做字符串拼接，效果如下：要知道，拼接几列字符串不难，concat 就可以实现，concat(col1,col2,col3) 就会将第一列，第二列，第三列字符拼接起来，此处就不做示范了。但如果要拼接一列中的字符呢？小编是没有遇见过啦，所以懵的一逼。搜索了下，发现了一个很好用的函数concat_ws，...

背景 08年左右，阿里巴巴开始尝试MySQL的相关研究，并开发了基于MySQL分库分表技术的相关产品，Cobar/TDDL(目前为阿里云DRDS产品)，解决了单机Oracle无法满足的扩展性问题，当时也掀起一股去IOE项目的浪潮，愚公这项目因此而诞生，其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上，完成去IOE的第一步.项目介绍名称: yugong...

应用场景如下：要求：今天在项目中遇到一个问题，是统计某校教师与学生的各自总人数并且要分别取出学号与职工号。其中教师的职工号6位，学生的学号为7位，但是并没有将学号与姓名分开，如上图全部存在humanName这一列中。这里需要分割字符串，前面中文后面是数字，并且数字的长度不同，分别为6位于7位。需要按照6位7位分别切割。解决思路：这里我们要清楚这样的数据的分界线在哪，首先我看到前...