自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一点见解

沉醉技术,记录自己的见解,分享见解

  • 博客(53)
  • 资源 (1)
  • 收藏
  • 关注

原创 AnolisOS8.8基于yum安装mariadb并进行授权管理

【代码】AnolisOS8.8基于yum安装mariadb并配置远程访问。

2024-04-29 17:54:06 492

原创 构建dagu和benthos作为调度平台+数据处理框架的镜像并运行

dagu.yaml。

2024-04-19 00:58:25 395

原创 linux部署dagu和benthos作为调度平台+数据处理框架

使用etl用户执行部署脚本。

2024-04-18 17:31:45 386

原创 oracle19c安装-aarch64

参考oracle官方文档提供的软硬件要求建议使用OracleLinux8.6及以上操作系统,我这里使用。

2024-04-01 11:49:26 537

原创 部署dagu_1.12.10+replicadb0.15.1+sqlline1.12

浏览器访问 ip:9033。

2024-03-19 15:34:21 461

原创 GitLab备份与恢复测试(基于Docker)

【代码】GitLab备份与恢复测试(基于Docker)

2024-01-22 14:56:18 820

原创 构建dagu1.12.9+replicadb0.15.1+sqlline1.12镜像

replicadb修改过,添加了sqlline.jar和sqlline的启动脚本,修改了configure-replicadb脚本,修改后的文件在csdn。

2024-01-11 17:03:18 468

原创 MongoDB4.4.26安装及配置

删除没用的文件(单机部署不需要mongos,生产环境不建议使用install_compass安装mongodb)【上传安装包到服务器并解压。

2023-12-26 15:41:57 504

原创 构建dagu+replicadb镜像

浏览器访问http://192.168.1.88:8081/在线编写yaml文件保存并运行(注意缩进)

2023-10-28 16:30:04 219

原创 oracle19c安装-基于rpm

该 rpm会创建oracle用户、相关用户组、以及配置系统的参数,如 /etc/security/limits.d/oracle-database-preinstall-19c.conf。可以根据需要更改配置/etc/init.d/oracledb_ORCLCDB-19c。路径按照自己的修改,我用的默认路径。

2023-10-12 14:51:20 671

原创 手动构建YApi-v1.12.0及运行

config.json修改为自己的环境,建议只改db部分,依赖mongodb数据库;官网文档里说支持mongodb集群方式,但我没成功们只能配置为单节点的方式;adminAccount也不建议在配置文件里改,应该有格式限制。

2023-09-14 16:19:46 262

原创 MongoDB6.0.8副本集搭建(Rocky8.8单节点)

1.MongoDB6.0.6 副本集搭建(CentOs8)登录任意一节点,执行 rs.initiate。2.MongoDB 6.0.3 用户管理。我上传到了/root/pkg目录。可以看到过了一会,节点显示都变了。

2023-07-25 15:45:55 337

原创 oracle近实时数据同步方案整理

比较闪回版本查询闪回查询FLASHBACK_TRANSACTION_QUERY结合闪回查询基于LogMiner的日志挖掘缺点1.时间范围和undo_retention参数值有关,默认900s,超过这个值查询会报ORA-30052。2.基于单表的查询,并发查询或占用数据库连接。1.单表数据量大查询很慢。2. 基于单表的查询,并发查询或占用数据库连接。1.不适用于容器数据库的只读备库。2.对于操作频繁的数据库查询很慢1.不适用于只读备库。2.必须开最小追加日志。

2023-07-19 14:57:28 1334

原创 MongoDB创建Debezium所需的用户及角色

【代码】MongoDB创建Debezium所需的用户及角色。

2023-06-26 09:26:45 118

原创 LVM使用硬盘扩容后的空闲空间

LVM磁盘扩容

2023-04-27 16:42:38 232 1

原创 基于kafka的实时链路

使用docker compose部署便于测试。

2023-03-15 18:38:05 194

原创 oracle归档日志及补充日志存储占用测试

oracle归档日志及补充日志存储占用测试

2022-10-06 10:28:53 1693

原创 oracle补充日志

oracle补充日志整理

2022-10-05 16:08:54 5229

原创 oracle归档日志

oracle归档日志

2022-09-30 16:12:28 2589

原创 jinfo-查看java进程的系统变量

java笔记

2022-09-19 18:17:18 524

原创 Docker笔记

Docker笔记

2022-08-08 19:33:42 1114

原创 oracle拆分行

oracle依据某一列数据将单行拆分成多行

2022-07-19 11:03:21 336

原创 oracle会话及进程连接

oracle会话及进程

2022-07-13 16:16:24 563

原创 FlinkCDC2.2.1+Flink1.15.0实践

Flink+FlinkCDC+FlinkSQL实践

2022-07-05 15:54:38 1065

原创 oracle创建表空间和用户

oracle管理

2022-06-08 13:16:56 97

转载 sqlserver2019启用(代理服务Service Broker)

ServiceBroker(简称SSB)是基于数据库引擎提供的一个强大的异步编程模型,通过ServiceBroker,开发人员无需编写复杂的通信和消息程序,即可在数据库实例之间完成高效可靠的异步通信。Service Broker通常用于:异步触发器大规模批处理可靠和异步处理--0 为停用 1为启用SELECT name,is_broker_enabled FROM sys.databases WHERE name = '库名称'ALTER DATABASE 库名称 SET NEW_BRO

2022-05-20 17:51:10 932

原创 CDH6.3.2集群部署5—添加sqoop

添加服务分配角色测试#将pwd替换成master节点安装的数据库root密码sqoop list-databases --connect jdbc:mysql://dbnode1:3306/ --username root --password pwd

2022-05-14 16:19:30 784

原创 CDH6.3.2集群部署4—Kerberos使用

目录示例一:HIVE对接Kerberos配置1.为用户HIVE向Kerberos注册账号(Principal)2.生成密钥文件2.用户认证,执行以下命令,并输入密码,完成认证示例一:HIVE对接Kerberos配置1.为用户HIVE向Kerberos注册账号(Principal)kadmin.local -q "addprinc hive/hive"2.生成密钥文件#创建密钥文件目录mkdir /var/keytab#生成密钥文件hive.keytabkadmin.local -q "x

2022-05-14 15:59:28 605

原创 CDH6.3.2集群部署3—启用kerberos

目录术语解释为什么启用kerberos安装及配置kerberos安装kerberos配置kerberosCDH集群启用Kerberos术语解释为了方便阅读理解,规范以下术语主节点:master节点非主节点:worker节点为什么启用kerberosCDH6.3.2集群部署2—集群安装 完成后服务没有安全认证详情可参考:CDH6.3.2之Kerberos安全认证(二)安装及配置kerberos安装kerberos#在master节点上执行yum install -y krb5-ser

2022-05-14 15:36:20 755

原创 CDH6.3.2集群部署2—集群安装

Cloudera Manager远程 Parcel 存储库 URL,CDH6.3.2集群部署1—CM服务安装文章中python启动服务的地址加上cm/cdh6.3.2/parcels/CDH,例如我的为http://192.168.42.144:7180/cm/cdh6

2022-05-14 10:39:45 474

原创 CDH6.3.2集群部署1—CM服务安装

集群环境系统配置参考链接:集群环境搭建-系统配置术语解释为了方便阅读理解,规范以下术语主节点:master节点非主节点:worker节点上传文件文件链接: CDH安装文件提取码:un3w文件列表将文件列表中的文件上传到master节点为了后面便于说明,我上传到了/root/auto-cdh/softPKG目录下,和上图所示的一致安装MySQL数据库卸载MariadbCentOS7.9默认自带Mariadb,查看并卸载master节点必须执行,worker节点非必须

2022-05-12 18:03:44 1069 4

原创 集群环境搭建-系统配置

系统环境CentOS7.9最小化安装主机IP主机名ssh端口号192.168.42.144dbnode120884192.168.42.145dbnode220885192.168.42.146dbnode320886主机名设置#在第一个节点执行hostnamectl set-hostname dbnode1#在第二个节点执行hostnamectl set-hostname dbnode2#在第三个节点执行hostnamectl set-h

2022-05-10 18:06:27 1575

原创 windows安装及配置mysql8

下载mysql8去官网下载mysql8 https://dev.mysql.com/downloads/mysql/解压缩mysql安装包并配置初始化文件my.inimysql安装包解压缩初始化配置my.ini解压后没有my.ini就创建一个,内容如下:[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=C:\\opt\\mysql-8.0.11-winx64# 设置mysql数据库的数据的存放目录datadir=C:

2022-03-25 22:06:41 762

转载 Hadoop三大核心组件概述

HDFS(Hadoop Distribute File System):hadoop的数据存储工具NameNode:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理DataNode:1)存储用户的文件对应的数据块(Block)2)要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况YARN(Yet Another Resource Negotiator,另一种资源协调者):Hadoop 的资源管理器什么是YARNApache

2022-03-09 11:45:52 6866 2

转载 DolphinScheduler整理

简介DolphinScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker支持暂停恢复操作.支持多租户,更好的应对大数据的使用场景. 支持更多的任务类型,如 spark, hive, mr, python, sub_process, shell支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worke

2022-03-07 21:39:03 2982 1

原创 CentOS7安装mysql5.7

卸载自带的mariadb#卸载Centos7.9自带的mariadb并删除相关目录及文件find / -iname mysql*yum -y remove mariadb-*rm -rf /etc/selinux/targeted/active/modules/100/mysqlrm -rf /usr/lib/firewalld/services/mysql.xmlrm -rf /usr/lib64/mysql安装mysql5.7#下载mysql5.7yum源wget https://de

2022-03-05 16:37:14 510

原创 CentOS集群配置

前期准备1 最小化安装CentOS7.9(其他系统也可以)2 配置系统2.1 网络配置(参考VMware虚拟机NAT网络模式配置静态IP)2.2 hostname及hosts配置(每个节点执行)#设置hostname,ds1替换成相应节点的hostnamehostnamectl set-hostname ds1#设置hosts文件cat >> /etc/hosts << EOF192.168.42.201 ds1192.168.42.202 ds21

2022-03-05 15:47:16 815

转载 Centos7集群时间同步(Chrony)

https://www.cnblogs.com/heian99/p/12865376.html

2022-02-22 09:18:21 73

原创 VMware虚拟机NAT网络模式配置静态IP

1 查看网络驱动器名称输入ip addr命令查看网络驱动器名称,如下图,我的是ens33,所以对应的配置文件是/etc/sysconfig/network-scripts/ifcfg-ens332 确定虚拟机IP范围、子网掩码和网关2.1 IP地址范围,我的是128开始,所以配置虚拟机的IP时最后一位要≥128且≤2542.2 网关,我的是192.168.93.23 配置静态IP编辑上面查到的配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens3

2022-02-19 12:37:03 1619

原创 yum安装mariadb10.6并配置

1 配置yum源1.1 查找mariadb软件包地址打开http://mirrors.aliyun.com/,查找mariadb,然后拼装地址http://mirrors.aliyun.com/mariadb/yum打开,点开想要的版本,选择对应的操作系统点进去,复制地址,我这里是http://mirrors.aliyun.com/mariadb/yum/10.8/centos7-amd64/1.2 新建一个源vi /etc/yum.repos.d/MariaDB.repo添加如下内容[mari

2022-02-14 17:51:21 3483 1

replicadb-0.15.1

数据同步工具

2024-01-11

dagu-1.12.9-linux-amd64

调度工具

2024-01-11

oracle11g补丁all.jar

linux平台桌面中文环境下安装oracle11g会出现乱码,有三种解决办法,1.照着网上的图片点击选项和按钮;2.将终端设置为英文环境;3.将all.jar替换。

2018-03-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除