- 博客(106)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Goldengate：源端目标端字符集不同造成的乱码问题
1、Goldengate版本Oracle GoldenGate Command Interpreter for OracleVersion 11.1.1.1.2 OGGCORE_11.1.1.1.2_PLATFORMS_111004.2100Linux, x64, 64bit (optimized), Oracle 10g on Oct? 4 2011 23:50:20Copyright (C) 1995, 2011, Oracle and/or its affiliates. All ri..
2021-06-09 08:43:03
1022
原创 ORA-01144:文件大小(26214400块)超出4194303块的最大数
查询ORACLE数据块大小SQL>show parameter db_block_sizedb_block_sizeMaximumdatafilesize2kb8Gb-2kb4kb16Gb-4kb8kb32Gb-8kb16kb64Gb-16kb32kb128Gb-32kb这个限制是由于Oracle的Rowid中使用22位来代表Block号，这22位最多只能代表2^22-1个数据块。由现象可以看出数据库的db_block_size是8K的，因此创建的每个...
2021-06-02 11:24:51
2732
原创 OGG-01232 Receive TCP Params Error: TCP/IP Error 104 (Connection Reset By Peer).
ERROR OGG-01232 Receive TCP params error:TCP/IP error 104(Connection reset by peer),endpoint:192.168.247.16:7812CASE：Extract/Pump uses STREAMING mode by defaultMost of the tcp-ip errors are treated fatal and results in an immediate abend.i.e.O...
2021-05-27 09:05:45
1418
1
转载 ORACLE归档日志详解
一.何为归档日志归档日志：非活动的重做日志，用来保存所有的重做历史记录。什么时候写归档日志：当数据库处于archivelog模式并重做日志切换的时候，后台进程ARCH会启动将重做日志的内容完整的保存到归档日志中。日志操作模式:包含NOARCHIVELOG 模式 和ARCHIVELOG 模式NOARCHIVELOG模式不保留重做日志记录的历史，只能保护例程失败不能保护介质失败。特点：LGWR进程写日志时候覆盖原先的重做日志内容如果日志内容被覆盖，只能恢复到过去完整备份的点执..
2021-05-20 11:23:06
11932
转载 Oracle RAC 到单机 OGG 配置测试
1.测试环境：源端：OS：Centos 6.8数据库：11.2.0.4实例： rac1 rac2 rac3Goldengate：fbo_ggs_Linux_x64_shiphome.zipRac与单实例不同之处在于rac上的goldengate 需要安装在共享存储上目的端：OS：Centos 6.8数据库：11.2.0.4 实例：test2.源端配置步骤1) 配置ACFS，具体的可参考：http://blog.csdn.net/s...
2021-03-24 09:34:53
356
转载 CentOS7.6安装MySQL8.0
目录一、安装前准备二、安装MySQL三、设置远程登录四、安装问题解决五、设置MySQL开机自启一、安装前准备1、在官网下载MySQL安装包（注意下载的安装包类型）2、查看是否安装mariadb# rpm -qa | grep mariadb3、卸载mariadb# rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_644、安装MySQL依赖包 libaio# yum install lib...
2021-03-02 22:22:26
225
转载 【Oracle】EXPDP和IMPDP数据泵进行导出导入的方法
一、expdp/impdp和exp/imp的区别1、exp和imp是客户端工具程序，它们既可以在客户端使用，也可以在服务端使用。2、expdp和impdp是服务端的工具程序，他们只能在oracle服务端使用，不能在客户端使用。3、imp只适用于exp导出的文件，不适用于expdp导出文件；impdp只适用于expdp导出的文件，而不适用于exp导出文件。4、对于10g以上的服务器，使用exp通常不能导出0行数据的空表，而此时必须使用expdp导出。二、expdp导出步骤（1）创.
2021-02-21 13:58:03
884
转载 一文彻底搞懂 顶背离 & 底背离 （图解）
导语什么是背离？如何运用背离？有何注意点？按词语解释，背离就是脱离原来的、通常的、正常的或公认的轨道。用形象一点的比喻，就是一帮人顶着重物朝上走，而顶到某处后，出现后继无力，力量衰减的方向与物体运动的方向相反。直至这种情况反复出现几次，最后大家都使不出劲了，那重物是不是就要掉下去了。在几乎所有的技术指标功效中，都有一种背离的功能，也就是预示市场走势即将见顶或者见底，其中MACD、RSI和CCI都有这种提示作用。投资者可以用这些指标的背离功能来预测头部的风险和底部的买入机会。在日常的操作中，我
2021-02-02 15:47:37
32552
原创 YARN多资源队列配置和使用
一. YARN的由来从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以YARN可以是实现Hadoop集群的资源共享，不仅仅可以跑MapReduce，还可以跑Spark，Flink。二.YARN架构YARN主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个.其中:ResourceManager: 这是主节点，主要负责集群资源的分配和管理NodeManager:
2021-01-23 23:28:52
4818
1
转载 DBCA报错 ORA-12532：TNS：invalid argument
最近朋友安装oracle的时候，给我留言说：执行dbca的时候报错，ORA-12532：TNS：invalid argument错误，如下图所示：我让他去看下图片中的日志详细内容，他查了详细日志，如下所示：我大概从以下几个方面去排查问题：1、netca这一步操作了没有，朋友说操作了2、tnsping下 tns name，看通不通？朋友说不通，我一看他执行命令错了，叫他执行lsnrctl status执行这个命令看看你的tns name是什么？...
2021-01-19 15:54:45
929
原创 MapReduce解析之Shuffle过程详解
一. Shuffle执行过程Shuffle是一个网络拷贝的过程，是指通过网络把数据从map端拷贝到reduce端的过程。整体如图：在map阶段，最左边是一个inputsplit，一个inputsplit会产生一个map任务,map任务在执行的时候会把k1,v1转化为k2,v2,这些数据会先临时存储到一个内存缓冲区中，这个内存缓冲区的大小默认是100M（io.sort.mb属性），当达到内存缓冲区大小的80%(io.sort.spill.percent)，也就是80MB的时候，会把内存中的数据
2021-01-14 20:38:32
467
原创 MapReduce案例之WordCount源码
一. 流程图二. WordCount流程梳理大致流程如下：第一阶段： 开发Map阶段第二阶段： 开发Reduce阶段第三阶段： 组装Job完整代码如下：package MapReduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.had
2021-01-12 23:02:41
470
1
原创 MapReduce解析
一. MapReduce介绍现在，我们有一摞牌，我想知道这摞牌中有多少张黑桃。最直接的方法就是一张一张牌数，最终统计出有多少张是黑桃。这种方式的效率比较低。如果牌的张数很多，例如有10亿张，该方法将完全无用武之地。这时我们可以使用MapReduce的计算方法第一步： 把这摞牌分配给所有节点第二步：让所有节点检查一下自己手中的牌有多少张是黑桃，然后把这个数目汇报给你第三步： 把所有节点的黑桃数加起来，得到最终结果。这样分布式计算，每个节点分一分小任务，最终再汇总，就可以快速得到答案
2021-01-11 22:05:50
836
1
原创 HDFS高可用群集HA搭建
一 .群集架构二.群集规划 namenode datanode journalnode zkfc zookeeperbigdata01 yes yes yes yesbigdata02 yes yes yes yes yesbigdata03 yes yes yes yes针对HDFS的HA群集，只需要启动HDFS相关的进程就可以了，YARN的相关进程可以不启动，它们两个的进程本来就是相互独立的。在HDFS的HA群集中，
2021-01-07 22:43:46
320
1
原创 HDFS高级特性
一. HDFS回收站我们Windows系统里面有一个回收站，当想恢复删除文件的时候可以到这里面恢复，HDFS也有回收站。HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/每一个被用户在shell命令行删除的文件/目录，都会进入到对应的回收站目录中，在一段时候内用户没对数据进行恢复的话，HDFS就会自动把这个文件/目录彻底删除。默认情况下HDFS的回收站是没有开启的，需要通过一个配置来开启，在core-site.xml中添加如下配置：value的单位是分钟，144
2021-01-07 21:46:37
223
1
原创 HDFS体系结构
一. HDFS架构 HDFS支持主从结构, 主节点称为NameNode, NameNode支持多个. 从节点称为DataNode,DataNode也支持多个. HDFS还包含一个SecondaryNameNode进程，这个进程从字面意思看像NameNode，其实不是，后面我们详细分析. HDFS架构图如下：二. NameNode介绍NameNode是整个文件系统的管理节点。它主要维护整个文件系统的文件目...
2021-01-04 21:42:56
1547
1
原创 JAVA（maven + IDEA）操作HDFS
一. maven在Windows中的安装配置① 把apache-maven-3.6.3解压到D盘② 修改conf目录下的settings.xml<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.or...
2020-12-26 14:01:39
574
1
原创 HDFS常用操作
一. -ls 查看目录信息[root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls hdfs://bigdata01:9000/[root@bigdata01 hadoop-3.2.0]#hdfs中url这一串内容在使用时默认是可以省略的，因为hdfs在执行的时候会根据HADOOP_HOME自动识别配置文件中的fs.defaultFS属性所以这样简写也是可以的：[root@bigdata01 hadoop-3.2.0]# hdfs dfs -ls /[ro..
2020-12-26 13:47:03
285
1
转载 解决You have new mail in /var/spool/mail/root提示
问题：终端远程登陆后经常提示You have new mail in /var/spool/mail/root这个提示是LINUX会定时查看LINUX各种状态做汇总，每经过一段时间会把汇总的信息发送的root的邮箱里，以供有需之时查看。一般这种情况mail的内容就只是一些正常的系统信息或者是比较重要的错误报告。如果你安装了mutt的话直接用这个命令就可以查看mail的内容（用root登陆先），没有装的话用cat /var/spool/mail/root查看（用root登陆先）。如何关闭提示呢？解决
2020-12-24 22:44:24
494
原创 MapReduce性能优化
一.小文件问题Hadoop 的HDFS和MapReduce都是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。针对HDFS而言，每一个小文件在namenode中都会占用150字节的内存空间，最终导致群集中虽然存储了很多文件，但文件总体的体积并不大，这样就没有意义了。针对MapReduce而言，每一个小文件都是一个Block，都会产生一个InputSplit，最终每一个小文件都会产生一个map任务，这样会导致同时启动太多的Map任务，Map任务的启动是非常消耗性能的，如
2020-12-24 20:46:39
436
1
转载 Python-socket发送文件并解决粘包问题
服务器端要先根据客户端要下载的文件进行判断是否存在，还要根据文件大小来进行传送，最后还要比对文件的md5值来判断传送的文件是否正确，通过判断剩余字节来解决粘包问题服务器端# -*- coding:utf-8 -*-__author__ = "Mr.Yang" import socketimport osimport hashlib server = socket.socket()server.bind(('192.168.247.15',16000))server.listen(
2020-12-02 22:04:11
191
原创 OGG初始化
前提条件：OGG已经搭好源端配置：GGSCI>add extract einit1,sourceistableGGSCI>edit params einit1EXTRACT EINIT1SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)USERID C##goldengate, PASSWORD goldengateRMTHOST 192.168.247.16,MGRPORT 7809RMTTASK REPLICAT, GROUP ri
2020-11-27 15:46:54
570
1
原创 Hadoop 分布式群集安装
看一下这个图，图里面表示是三个节点，左边这个是主节点，右边的两个是从节点，hadoop群集是支持主从架构的.不同节点上启动的进程是不一样的.主节点进程: NameNode,Secondary namenode, ResourceManager从节点进程: DataNode, NodeManager环境准备：三个虚拟机192.168.247.5 hadoop1192.168.247.6 hadoop2192.168.247.7 hadoop3注意：每个节点的基础环境都...
2020-10-27 10:59:08
228
1
原创 OGG-01163 反复修改还是报同样的错误
ERROR OGG-01163 Bad column length (3) specified for column COL1 in table OGG.YLJ3, maximum allowable length is 2.原操作步骤：1. 将数据库字段长度修改为 源端长度2. 修改def文件，将长度改为新长度(等同于重新生成def文件)3. start repylj重启后依然报同样的错：通过查询发现，虽然源端和目标端该字段的长度已修改，且def文件也都已修改，但生成...
2020-10-22 22:24:19
1015
转载 kettle_Day4_Hop的作用
1. 什么是Hop在我们前面，使用Kettle过程中，控件与控件之间的连线，这里，我们详细介绍下它，它在Kettle中叫Hop（跳）。2. Hop的发送方式（转换）在转换中，一般情况，控件和控件之间只有一个Hop，当然，如果需要的话，我们拖了2个控件出来，像这样：Kettle会提示你，下面的信息，让你选择，数据发送的方式2.1 分发记录目标步骤轮流接收记录，其实就是你一条，我一条，轮着接收数据，这个我们试一下就知道了我们执行下，看看这个结果试试，我们再步骤度量中，
2020-06-01 21:25:18
1193
转载 SQLServer数据库中开启CDC导致事务日志空间被占满的原因
SQLServer中开启CDC之后，在某些情况下会导致事务日志空间被占满的现象为：在执行增删改语句（产生事务日志）的过程中提示，The transaction log for database '***' is full due to 'REPLICATION'(数据库“***”的事务日志已满，原因为“REPLICATION”).CDC以及复制的基本原理粗略地讲，对于日志的使用步骤如下： 1，每当基础表（开启了CDC或者replication的表）产生事务性操作（增删改）之后，对应的事
2020-06-01 21:11:12
3488
原创 Oracle 压缩表与压缩表空间
从Oracle9iR2 开始，ORACLE提供了表/表空间压缩技术，以减少磁盘开销，节省空间，并在某些情况下提高查询性能。 表压缩是如何工作的在Orcle9i第2版中，表压缩特性通过删除在数据库表中发现的重复数据值来节省空间。压缩是在数据库的数据块级别上进行的。当确定一个表要被压缩后，数据库便在每一个数据库数据块中保留空间，以便储存在该数据块中的多个位置上出现的数据的单一拷贝。这一被保留的空间被称作符号表（symbol table）。被标识为要进行压缩的数据只存储在该符号表中，而不是在数据...
2020-06-01 20:49:37
3558
1
原创 Kettle_Day3_时间戳增量同步
该方法适用场景： 表中有一列记录该条字段最新修改时间的时间戳列。核心思想： 用一张表记录上次抽取的时间(初始时间2000-01-01)，然后每次从源表接着上次的时间抽取数据到目标表。一.前期准备分表创建两张表# 创建源表CREATE TABLE `im_message` ( `id` int NOT NULL AUTO_INCREMENT, `sender` varchar(45) COLLATE utf8_bin NOT NULL C...
2020-06-01 20:31:43
744
1
原创 Kettle_Day2_自定义变量
一.输出变量的值拖一个获取变量组件按Delte删除不要的环境变量2. 动态增加变量我们先试下在转换中设置变量，作业中也是可以使用的，我们后面再说测试流程是这样的， 我们再表输入中，有2个时间参数，然后作为变量3.局部变量（命名参数）在kettle中，相对于全局变量，我们还可以使用局部变量。感觉，这个全局变量，局部变量，都是相对而言的，就网上大部分资料来说，Kettle中的局部变量就是“命名参数”我们再转换任意位置中，右键单击，选择，转换设置
2020-05-26 21:54:55
607
原创 Kettle手册_Day1_环境变量和变量加密、解密
1. Kettle的配置文件配置文件在哪呢？Windows下，是再当前用户的目录下，一般再C盘，Users下面，有一个当前用户的文件夹，下面有.kettle文件夹进入之后，我们会看到一个kettle.properties的文件，kettle环境变量，就放在这里我们打开之后，编辑一下保存后，我们要重新启动下Kettle，因为这个配置文件是启动时加载的2. 密码加密这里，顺便说下，加密的问题，比如，如果我们上面的填的是数据库密码，是明文的，这样是不太安全的，而实际上，我们都是
2020-05-26 21:32:24
907
1
转载 kettle pdi8.2 连接mysql8
mysql-connector-java-5.1.41-bin.jar 只支持到5.1的，mysql8的连接只能在pdi8/simple-jndi/jdbc.properties文件中增加如下代码：MYSQL8_DB/type=javax.sql.DataSourceMYSQL8_DB/driver=com.mysql.cj.jdbc.DriverMYSQL8_DB/url=jdbc:mysql://127.0.0.1:3306/kettle?useUnicode=true&chara..
2020-05-25 21:50:05
1222
转载 使用XManager远程CentOS 7服务器（XDMCP）
0. 前言基本概念 from vbrid 简略概述 Display Manager 提供登录需求 在文字界面下可以通过startx来启动Xwindows 在runlevel 5下，在tty7处有可以使用的图形登录界面（方便输入账号密码），这个就是Display Manager-->最大的任务就是登录 在CentOS上，利用GDM (GNOME Display Manager) 程序来提供tty7的图形接口登录-->但作用不仅仅如此 gdm配置文件--&
2020-05-13 20:49:09
2504
转载 Oracle数据库修改LISTENER的监听端口
转自：http://www.cnblogs.com/chenleiustc/archive/2009/07/26/1531529.html【强调一点】由于oracle实例的动态注册只能在默认端口1521上运行，端口修改后监听一定要记得修改为“静态注册”方式。否则您永远也等不到LISTENER动态监听到您的oracle实例！【修改步骤】1.修改listener.ora文件，端口从1521...
2020-04-09 19:24:14
453
转载 查询ORACLE安装目录
一般来说，/etc/oraInst.loc文件里会记录oracle的路径，如[oracle@ruby ~]$ cat /etc/oraInst.loc inventory_loc=/u01/app/oraInventoryinst_group=oinstall然后/u01/app/oraInventory/ContentsXML/inventory.xml里记录了你安装的所有oracle...
2020-04-09 19:13:36
4640
转载 oracle 12.2.0.1 dataguard 的 physical standby 启动时报错 ORA-10458: standby database requires recovery
os: centos 7.6db: oracle 12.2.0.2本地虚拟机直接掉电,再启动 physical standby 时提示错误SQL> startupORACLE instance started.Total System Global Area 1644167168 bytesFixed Size 2925024 bytesVariable Si...
2020-04-05 14:59:06
522
原创 在ORACLE 12C RAC 的DG库上搭建OGG
1. 查看rac节点是否有ASM的监听注册（双节点）su - oraclelsnrctl services如果没有，需要用grid用户在$ORACLE_HOME/network/admin/listener.ora文件中添加静态注册，然后reload listener（双节点）：[grid@rac1 ~]$ vi listener.oraLISTENER=(DESCRIPT...
2020-04-03 00:12:50
2156
1
原创 Replication--进程无法在“xxxx”上执行“sp_replcmds”
--解决方法：--为该数据库设置一个dbowerUSE XXXGOsp_changedbowner 'sa'
2020-03-24 19:51:44
1421
原创 难以排查的错误：ping: rac01: Name or service not known
如上图，一切正常，不明白有什么错误。直到有高人指点：/etc/hosts文件里可能有中文空格，你把hosts文件情况，重敲一遍，不要复制。照做，问题解决。/etc/hosts文件里可能有中文空格，你把hosts文件情况，重敲一遍，不要复制。照做，问题解决。...
2020-03-16 22:36:58
346
1
DirectX 8.0 exe安装程序-Win11可安装
2024-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人