- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink-----Flink CDC 实现数据实时同步
initial()模式即获取创建表有史以来的日志，但是遇见布置CDC后的日志就报错·latest()模式即获取最新的日志，但运行就报错以上两个错误都是以下显示错误说明提示没有为该表设置日志归档错误原因cdc底层自动将配置的表名转为小写，而oracle日志的表名是大写，导致cdc无法找到配置表的日志，所以就报没有为该表配置日志归档，但这一步确实已经做过了解决办法1.加配置文件a)Stream模式b)SQL模式httpshttpshttps。...
2022-07-16 16:26:40
11205
3
原创 Oracle------OGG单向实时同步Oracle数据
经过上述测试，新建表能够在目标端自建并同步成功，而业务库之前已经存在的表未能在目标端自建成功的原因，个人认为是日志问题，因为OGG本身就是监听日志的变化的，同步数据的原理就是自动解析日志在目标端建表并赋予数据，而业务库的表建立已经有很长时间了，日志数据可能早已经被删除，OGG无法找到日志数据进行解析，导致目标端不能自动建表。而停掉所有进程后在源建表并赋予数据，打开所有进程后在目标端能够自动建表并成功同步数据，原因是日志存在还有没被删除，OGG能找到日志进行解析。.........
2022-07-16 15:43:56
1816
原创 Flume-----自动容灾和负载均衡
自动容灾和负载均衡自动容灾1 配置下游的两个采集方案1）hadoop02上配一个下游[root@hadoop02 ~]# mkdir flumeconf[root@hadoop02 ~]# vim ./flumeconf/processorDown1.properties#定义三大组件的名称 和关联a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.channels = c1a1.sinks.k1.channel = c
2021-12-25 09:42:00
319
原创 Flume-----选择器和拦截器
flume的选择器和拦截器1 flume的选择器flume的选择器是作用在source端，用于将不同event分发到不同的channel里，flume内置的选择器有两种，分别如下：Replicating：复用选择器，作用是将event拷贝到不同的channel里Multiplexing：多副路选择器，作用是根据不同的条件将不同的event分发到不同的channel里Replicating选择器的案例演示需求：将event拷贝到两个channel中，使用两个sink来各自接收一个channel的数
2021-12-25 09:29:51
1892
原创 Flume-----八种采集方案
flume八种采集方案案例1）avro+memory+loggerlogger通常用于测试，数据流中的event最终显示在屏幕上1）采集方案的配置[root@hadoop01 ~]# mkdir flumeconf[root@hadoop01 ~]# vim ./flumeconf/avro-mem-logger.properties#定义三大组件的名称 和关联a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.chann
2021-12-25 09:10:43
939
原创 Hbase-----完全分布式搭建
Hbase完全分布式搭建1 简要说明完全分布式，指的就是除了hmaster守护进程外，有多个regionserver守护进程，并且每一个regionserver守护进程独占一个机器节点。使用的文件系统是HDFS。布局如下：hadoop01: hmaster regionserverhadoop02: hmaster regionserverhadoop03: regionserver环境说明：必须配置好集群的免密登录认证必须配置时间同步。保证集群节点的时
2021-12-25 08:55:29
754
原创 Hive-----窗口函数
hive窗口函数1.聚合函数over():指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化–eg:查询在2015年4月份购买过的顾客及总人数select name,count(*) over ()from tablename;where substring(orderdate,1,7) = '2015-04'2.partition by子句:将数据按照边界值分组–eg:看顾客的购买明细及月购买总额select name,orderdate,cost,sum(cost) o
2021-12-25 08:48:53
133
原创 zookeeper-----安装
Zookeeper安装1. 将zookeeper-3.4.10.tar.gz上传到/root中2. 解压 [root@hadoop01 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/3. 更名zookeeper [root@hadoop01 ~]# cd /usr/local/ [root@hadoop01 local]# mv zookeeper-3.4.10 zookeeper4. 配置环境变量 [root@had
2021-12-25 08:40:41
95
原创 Hadoop-----＞完全分布式集群环境的搭建
Hadoop----->完全分布式集群的搭建在搭建伪分布式集群之前确保以下工作已经完成1.确保防火墙是关闭的.[root@hadoop01 ~]# systemctl disable firewalld.service2.NAT模式和静态IP的确定 （192.168.10.101）[root@qianfeng01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.10.1013.确保/etc/hosts文
2021-12-06 19:24:32
160
原创 Hadoop-----＞伪分布式集群环境的搭建
Hadoop----->伪分布式集群的搭建在搭建伪分布式集群之前确保以下工作已经完成1.确保防火墙是关闭的.[root@hadoop01 ~]# systemctl disable firewalld.service2.NAT模式和静态IP的确定 （192.168.10.101）[root@qianfeng01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.10.1014.确保/etc/hosts文件
2021-12-04 16:52:42
182
原创 Linux-----＞shell基础编程题
1、编辑一个login.sh程序，模拟登陆[root@hadoop102 ~]# vim test1read -p "请输入姓名:" nameread -p "请输入密码:" passif(($name=="root" && $pass==123456))then echo "登录成功"else echo "登录失败"fi2、写一个firewall.sh程序,实现一次性的打开或者关闭防火墙和NetworkManager当在命令行输入 firewall.sh s
2021-12-04 14:03:27
1590
原创 Linux-----＞免密登录认证
免密登录认证准备工作首先克隆出hadoop02步骤1）先克隆机器关掉要克隆的机器--->右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成步骤2）修改IP和主机名以及映射文件，然后重启[root@hadoop01 ~]# hostnamectl set-hostname hadoop02[root@hadoop01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-
2021-12-04 13:50:55
291
原创 Linux-----＞软件安装
Linux----->软件安装二进制安装案例：二进制安装JDKJDK下载http://www.oracle.com/步骤1）上传jdk的二进制安装包 jdk-8u221-linux-x64.tar.gz，比如上传到/root/下步骤2）解压jdk安装包[root@hadoop01 ~]# tar -zxvf ./jdk-8u221-linux-x64.tar.gz -C /usr/local步骤3）切换到/usr/local下并更名[root@hadoop01 ~]# cd /
2021-12-04 13:40:24
1492
原创 Linux------＞高阶命令
Linux的高阶命令桥接模式的搭建步骤1）修改该虚拟机的连接方式为桥接模式步骤2）修改配置文件 (/etc/sysconfig/network-scripts/ifcfg-ens33)[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetBOOTPROTO=static #改为staticNAME=ens33DEVICE=ens33ONBOOT=yes #
2021-12-04 13:05:29
117
原创 Linux------＞基础命令
Linux基础命令三个最常用的指令1. pwd : print current work directory三个单词的简写作用就是以绝对路径的形式显示当前的位置所在eg:[root@localhost network-scripts]# pwd/etc/sysconfig/network-scripts2. ls : list directory contents的简写作用，就是列出指定目录下的内容(文件，子目录等)eg: ls 默认列出当前工作空间里的内容3. cd :
2021-11-29 20:49:44
682
原创 VMware16安装及centOS7安装
**VMware16安装及centOS7安装**一、VMware安装安装VM很简单，直接下一步，密钥百度随便找一个二、Centos7安装镜像：CentOS7 ,如果没有镜像可以在阿里云下载https://mirrors.aliyun.com/centos/选择 新建虚拟机选择 自定义选择 虚拟机硬件选择 镜像加载方式选择安装的系统类型命名虚拟机,选择存放位置选择处理器内核数量选择内存容量选择网络连接方式(默认)选择IO控制器(默认)选择磁盘类型(默认
2021-11-29 20:42:57
4897
原创 极致优化的JDBC操作
JDBC操作表格//操作步骤：//1.创建数据表//2.新建实体类//3.编写工具类//4.将jdbc抽象到dao层//5.在测试类中编写业务逻辑首先你得用于自己的表格，类似于这种:工具类：包括连接数据库、关闭资源等公用的操作。package dao;import java.io.InputStream;import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;i
2021-11-25 13:38:15
490
原创 嵌套for打印特殊图形
一、打印菱形：**public static void main(String[] args) { print(10); // 输出 10 行的菱形 } public static void print(int size) { if (size % 2 == 0) { size++; // 计算菱形大小 } for (int i = 0; i < size / 2 + 1;
2021-11-11 23:50:32
221
原创 银行系统——线程案例
银行系统：实现银行系统的存取操作package com.qf.work;import java.util.Scanner;//创建用户class Person { // 账号 private String account; // 余额 private double money; public Person() { } public Person(String account, double money) { super(); this.account = account
2021-11-03 23:31:47
114
原创 匿名内部类
匿名内部类* 如果有一个接口或者抽象类，必须要用class定义一个实现类写重写抽象方法，才能创建对象并使用。匿名内部类就是省略了用class定义子类的过程，直接使用父类或者接口创建子类对象匿名内部类案例1：饲养员饲养动物abstract class Animal{//动物类 public void eat() { }} class Fedder{//饲养员类 public void feed(Animal a) { a.eat(); }}//测试类public
2021-10-27 22:49:39
213
原创 Java冒泡排序、选择排序及插入排序
Java中的冒泡排序与冒泡排序冒泡排序第一个跟第二个比较，大了就交换值，第二又跟第三个比较，依次进行下去，进行数组长度减一次。排序前：[6, 5, 4, 3, 2, 1][5, 4, 3, 2, 1, 6]//第一轮[4, 3, 2, 1, 5, 6]//第二轮[3, 2, 1, 4, 5, 6]//第三轮[2, 1, 3, 4, 5, 6]//第四轮[1, 2, 3, 4, 5, 6]//第五轮排序后：[1, 2, 3, 4, 5, 6]代码如下：import java.util.A
2021-10-24 14:59:22
2059
原创 Java简易猜数字游戏
输入1----1000之间的数例：56你输入的数小了，请输入57—1000之间的数；789你输入的数大了，请输入57----787之间的数；····························································102；猜对了。import java.util.Scanner;public class Test{ public static void main(String[] args){ Scanner sc=new Scanne
2021-10-20 23:43:57
107
原创 JDK的安装
JDK安装1.下载(1) 在浏览器中输入 www.oracle.com，打开 Oracle 公司的官方网站。单击 Java SE Downloads 超链接，进入 Java SE 的下载页面。(2)在弹出的页面单击 JDK DOWNLOAD 按钮，如图 3 所示。在进入的 JDK 下载页面中包括 Windows、Solaris 和 Linux 等平台的不同环境 JDK 的下载链接。(3)由于本教程中使用的是 64 位版的 Windows 操作系统，因此这里需要选择与平台相对应的 Window
2021-10-18 23:29:34
76
原创 Web简易二手网购网页
Web简易二手网购网页一、开发背景随着Internet 国际互联网的发展，越来越多的企业开始建造自己的网站。基于Internet的信息服务、商务服务已经成为现代企业一项不可缺少的内容。很多企业都已不满足于建立一个简单的仅仅能够发布信息的静态网站。现代企业需要的是一个功能强大的，能提供完善的电子商务服务的动态商务网站。同时人们的生活方式也在随着发生改变，传统的购物方式已不能满足人们的需求。本网页用Visual Studio 2010为开发工具，应用css文件和 js文件，构建了一个能实现基本的电子商务的小
2021-10-14 16:07:32
1440
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人