- 博客(53)
- 资源 (1)
- 收藏
- 关注
原创 构建dagu1.12.9+replicadb0.15.1+sqlline1.12镜像
replicadb修改过,添加了sqlline.jar和sqlline的启动脚本,修改了configure-replicadb脚本,修改后的文件在csdn。
2024-01-11 17:03:18 468
原创 MongoDB4.4.26安装及配置
删除没用的文件(单机部署不需要mongos,生产环境不建议使用install_compass安装mongodb)【上传安装包到服务器并解压。
2023-12-26 15:41:57 504
原创 oracle19c安装-基于rpm
该 rpm会创建oracle用户、相关用户组、以及配置系统的参数,如 /etc/security/limits.d/oracle-database-preinstall-19c.conf。可以根据需要更改配置/etc/init.d/oracledb_ORCLCDB-19c。路径按照自己的修改,我用的默认路径。
2023-10-12 14:51:20 671
原创 手动构建YApi-v1.12.0及运行
config.json修改为自己的环境,建议只改db部分,依赖mongodb数据库;官网文档里说支持mongodb集群方式,但我没成功们只能配置为单节点的方式;adminAccount也不建议在配置文件里改,应该有格式限制。
2023-09-14 16:19:46 262
原创 MongoDB6.0.8副本集搭建(Rocky8.8单节点)
1.MongoDB6.0.6 副本集搭建(CentOs8)登录任意一节点,执行 rs.initiate。2.MongoDB 6.0.3 用户管理。我上传到了/root/pkg目录。可以看到过了一会,节点显示都变了。
2023-07-25 15:45:55 337
原创 oracle近实时数据同步方案整理
比较闪回版本查询闪回查询FLASHBACK_TRANSACTION_QUERY结合闪回查询基于LogMiner的日志挖掘缺点1.时间范围和undo_retention参数值有关,默认900s,超过这个值查询会报ORA-30052。2.基于单表的查询,并发查询或占用数据库连接。1.单表数据量大查询很慢。2. 基于单表的查询,并发查询或占用数据库连接。1.不适用于容器数据库的只读备库。2.对于操作频繁的数据库查询很慢1.不适用于只读备库。2.必须开最小追加日志。
2023-07-19 14:57:28 1334
转载 sqlserver2019启用(代理服务Service Broker)
ServiceBroker(简称SSB)是基于数据库引擎提供的一个强大的异步编程模型,通过ServiceBroker,开发人员无需编写复杂的通信和消息程序,即可在数据库实例之间完成高效可靠的异步通信。Service Broker通常用于:异步触发器大规模批处理可靠和异步处理--0 为停用 1为启用SELECT name,is_broker_enabled FROM sys.databases WHERE name = '库名称'ALTER DATABASE 库名称 SET NEW_BRO
2022-05-20 17:51:10 932
原创 CDH6.3.2集群部署5—添加sqoop
添加服务分配角色测试#将pwd替换成master节点安装的数据库root密码sqoop list-databases --connect jdbc:mysql://dbnode1:3306/ --username root --password pwd
2022-05-14 16:19:30 784
原创 CDH6.3.2集群部署4—Kerberos使用
目录示例一:HIVE对接Kerberos配置1.为用户HIVE向Kerberos注册账号(Principal)2.生成密钥文件2.用户认证,执行以下命令,并输入密码,完成认证示例一:HIVE对接Kerberos配置1.为用户HIVE向Kerberos注册账号(Principal)kadmin.local -q "addprinc hive/hive"2.生成密钥文件#创建密钥文件目录mkdir /var/keytab#生成密钥文件hive.keytabkadmin.local -q "x
2022-05-14 15:59:28 605
原创 CDH6.3.2集群部署3—启用kerberos
目录术语解释为什么启用kerberos安装及配置kerberos安装kerberos配置kerberosCDH集群启用Kerberos术语解释为了方便阅读理解,规范以下术语主节点:master节点非主节点:worker节点为什么启用kerberosCDH6.3.2集群部署2—集群安装 完成后服务没有安全认证详情可参考:CDH6.3.2之Kerberos安全认证(二)安装及配置kerberos安装kerberos#在master节点上执行yum install -y krb5-ser
2022-05-14 15:36:20 755
原创 CDH6.3.2集群部署2—集群安装
Cloudera Manager远程 Parcel 存储库 URL,CDH6.3.2集群部署1—CM服务安装文章中python启动服务的地址加上cm/cdh6.3.2/parcels/CDH,例如我的为http://192.168.42.144:7180/cm/cdh6
2022-05-14 10:39:45 474
原创 CDH6.3.2集群部署1—CM服务安装
集群环境系统配置参考链接:集群环境搭建-系统配置术语解释为了方便阅读理解,规范以下术语主节点:master节点非主节点:worker节点上传文件文件链接: CDH安装文件提取码:un3w文件列表将文件列表中的文件上传到master节点为了后面便于说明,我上传到了/root/auto-cdh/softPKG目录下,和上图所示的一致安装MySQL数据库卸载MariadbCentOS7.9默认自带Mariadb,查看并卸载master节点必须执行,worker节点非必须
2022-05-12 18:03:44 1069 4
原创 集群环境搭建-系统配置
系统环境CentOS7.9最小化安装主机IP主机名ssh端口号192.168.42.144dbnode120884192.168.42.145dbnode220885192.168.42.146dbnode320886主机名设置#在第一个节点执行hostnamectl set-hostname dbnode1#在第二个节点执行hostnamectl set-hostname dbnode2#在第三个节点执行hostnamectl set-h
2022-05-10 18:06:27 1575
原创 windows安装及配置mysql8
下载mysql8去官网下载mysql8 https://dev.mysql.com/downloads/mysql/解压缩mysql安装包并配置初始化文件my.inimysql安装包解压缩初始化配置my.ini解压后没有my.ini就创建一个,内容如下:[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=C:\\opt\\mysql-8.0.11-winx64# 设置mysql数据库的数据的存放目录datadir=C:
2022-03-25 22:06:41 762
转载 Hadoop三大核心组件概述
HDFS(Hadoop Distribute File System):hadoop的数据存储工具NameNode:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理DataNode:1)存储用户的文件对应的数据块(Block)2)要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况YARN(Yet Another Resource Negotiator,另一种资源协调者):Hadoop 的资源管理器什么是YARNApache
2022-03-09 11:45:52 6866 2
转载 DolphinScheduler整理
简介DolphinScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker支持暂停恢复操作.支持多租户,更好的应对大数据的使用场景. 支持更多的任务类型,如 spark, hive, mr, python, sub_process, shell支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worke
2022-03-07 21:39:03 2982 1
原创 CentOS7安装mysql5.7
卸载自带的mariadb#卸载Centos7.9自带的mariadb并删除相关目录及文件find / -iname mysql*yum -y remove mariadb-*rm -rf /etc/selinux/targeted/active/modules/100/mysqlrm -rf /usr/lib/firewalld/services/mysql.xmlrm -rf /usr/lib64/mysql安装mysql5.7#下载mysql5.7yum源wget https://de
2022-03-05 16:37:14 510
原创 CentOS集群配置
前期准备1 最小化安装CentOS7.9(其他系统也可以)2 配置系统2.1 网络配置(参考VMware虚拟机NAT网络模式配置静态IP)2.2 hostname及hosts配置(每个节点执行)#设置hostname,ds1替换成相应节点的hostnamehostnamectl set-hostname ds1#设置hosts文件cat >> /etc/hosts << EOF192.168.42.201 ds1192.168.42.202 ds21
2022-03-05 15:47:16 815
原创 VMware虚拟机NAT网络模式配置静态IP
1 查看网络驱动器名称输入ip addr命令查看网络驱动器名称,如下图,我的是ens33,所以对应的配置文件是/etc/sysconfig/network-scripts/ifcfg-ens332 确定虚拟机IP范围、子网掩码和网关2.1 IP地址范围,我的是128开始,所以配置虚拟机的IP时最后一位要≥128且≤2542.2 网关,我的是192.168.93.23 配置静态IP编辑上面查到的配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens3
2022-02-19 12:37:03 1619
原创 yum安装mariadb10.6并配置
1 配置yum源1.1 查找mariadb软件包地址打开http://mirrors.aliyun.com/,查找mariadb,然后拼装地址http://mirrors.aliyun.com/mariadb/yum打开,点开想要的版本,选择对应的操作系统点进去,复制地址,我这里是http://mirrors.aliyun.com/mariadb/yum/10.8/centos7-amd64/1.2 新建一个源vi /etc/yum.repos.d/MariaDB.repo添加如下内容[mari
2022-02-14 17:51:21 3483 1
oracle11g补丁all.jar
2018-03-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人