- 博客(13)
- 收藏
- 关注
RSS订阅原创 DM 实时主备搭建
1.DM 数据守护（Data Watch）的实现原理将主库（生产库）产生的 Redo日志传输到备库，备库接收并重新应用 Redo 日志，从而实现备库与主库的数据同步。DM数据守护的核心思想是监控数据库状态，获取主、备库数据同步情况，为 Redo 日志传输与重演过程中出现的各种异常情况提供一系列的解决方案1.1 DM 数据守护系统结构主要由主库、备库、Redo 日志、Redo 日志传输、Redo日志重演、守护进程（dmwatcher）、监视器（dmmonitor）组成① 主库Primary 模
2020-09-16 11:20:49
314
原创 DM数据库联机备份还原
DM数据库的备份还原包括两种类型：物理备份还原和逻辑备份还原。物理备份还原是对数据库的操作系统物理文件（如数据文件、控制文件和日志文件等）的备份还原。直接扫描数据库文件，找出那些已经分配、使用的数据页，拷贝并保存到备份集中。只是简单的根据数据库文件系统的描述，来挑选有效的数据页。逻辑备份是指利用dexp导出工具，将指定对象（库级、模式级、表级）的数据导出到文件的备份方式（针对的是数据内容）。数据备份主要针对数据文件内容，包括库备份、表空间备份和表备份。1. 备份还原DM数据库中的数据存储在数据库的
2020-09-15 15:55:09
484
原创 DM DEM部署集群
1.DEM部署1.1 安装jdk环境解压jdk安装包]# tar -xzvf jdk-8u251-linux-x64.tar.gz将解压后的文件传到指定目录]# cp -Rf jdk1.8.0_251/ /usr/local/jdk配置环境变量]# vim/etc/profileJAVA_HOME=/usr/local/jdk/JAVA_BIN=/usr/local/jdk/binJRE_HOME=/usr/local/jdk/jrePATH=$PATH:/usr/local/j
2020-09-14 09:24:06
180
原创 完全分布式hadoop搭建
1. 安装部署hadoop三大核心组件-分布式文件系统（HDFS部署）{DataNode，Secondary Namenode}-分布式计算框架（MapReduce）-集群资源管理（yarn）{resourcemanager，nodemanager系统规划192.168.1.60 hadoop1 角色NameNode，SecondaryNamenode，ResourceManager；软件HDFS，YARN192.168.1.61-192.168.1.63 node-0001~0003 角
2020-09-01 17:04:16
180
原创 测试Hadoop安装与配置
Hadoop有三种部署模式：单机、伪分布式、完全分布式#1.单机模式说明：只需要配置好环境变量即可运行，此模式一般用来学习和测试hadoop功能。第一台Hadoop机器配置（1CPU 2G 192.168.1.60） ]# yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel //安装依赖 ]# tar zxf hadoop-2.7.7.tar.gz ]# ls hadoop-2.7.7 hadoop-2.7.7.t
2020-08-28 13:07:30
267
原创 Hadoop简单介绍
1. 大数据大数据由来：要解决信息爆炸式增长后带来的收集、检索、统计这些信息的问题，产生的新技术大数据定义：大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产是指从各种各样类型的数据中，快速获得有价值的信息。大数据特性（5V特征）：-数量（volume）（大体量）：可从数百TB到数十数百PB、甚至EB规模-种类（variety）（多样性）：大数据包括各种格式和形态的数据-速度
2020-08-28 09:58:54
200
原创 虚拟机环境搭建ELK平台测试
1.分布式ELK平台1.1 ELK简介ELK是一整套解决方案，是三个软件产品首字母（这三款软件都是开源软件，通常是配合使用）ELK分别代表的意思：Elasticsearch：负责日志检索和存储Logstash：负责日志的收集和分析、处理Kibana：负责日志的可视化ELK在日志系统的运维中，可用于解决（ELK可以实现什么功能）：在海量日志系统的运维中，可用于解决分布式日志数据集中式查询和管理；系统监控，包含系统硬件和应用各个组件的监控；故障排查；安全信息和事件管理；报表功能……整体IP规划
2020-08-10 20:49:01
388
原创 ES集群安装测试
1. Elasticsearch基本概念：基于Lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎，基于RESTful API的web接口。用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定、可靠，快速，安装使用方便。主要特点：实时分析；分布式实时文件存储，并将每一个字段都编入索引；文档导向，所有的对象全部是文档；高可用性，易扩展，支持集群（cluster）、分片和复制（shards和replicas）；接
2020-08-10 19:56:27
433
原创 docker持久化及网络概念
1.持久化存储1.1 存储卷【卷】： docker容器不保存任何数据；重要数据使用外部卷存储（数据持久化）；容器可以挂载真实机目录或共享存储为卷。【主机卷的映射】：将真实机目录挂载到容器中提供持久化存储；目录不存在会自动创建，目录存在会直接覆盖。命令： docker run -it -v 宿主机目录或文件:容器内目录或文件 镜像:标签 ]# docker run -it -v /mnt:/yibo yibo:latest //启动后在容器根目录下自动创建yibo目录1.2 共享存储1
2020-08-10 19:27:04
140
原创 建立私有docker仓库测试
1. 制作私有镜像1.1 手动自定义新镜像docker commit 命令使用镜像启动容器，在该容器基础上修改，另存为一个新的镜像 ]# docker run -it docker.io/centos:latest //运行一个centos镜像 [root@88a2e67e8947 yum.repos.d]# vi local.repo //为镜像配置yum源并安装软件包 [root@88a2e67e8947 yum.repos.d]# yum -y install vim bash-com
2020-08-05 20:47:34
122
原创 常用docker命令
1. Docker概述1.1 概述容器：容器技术已经成为应用程序封装和交付的核心技术容器技术的核心有以下几个内核技术组成： -Cgroups（Control Groups）资源管理-NameSpace 进程隔离（命名空间：主机名空间、mount文件系统、网络、用户、进程、信号向量）-Selinux安全Docker：是完整的一套容器管理系统，提供了一组命令，让用户更加方便直接地使用容器技术，而不需要过多关心底层内核技术。1.2 Docker特性Docker优点：相比于传统的虚拟化技术，容器更
2020-08-04 17:07:55
72
原创 私有云搭建测试
1.云计算简介1.1 云计算基于互联网的相关服务的增加、使用和交付模式；这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池这些资源能够被快速提供，管理投入及与供应商的交互都相对较少。通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。1.2 IaaS（infrastructure）基础设施即服务，提供给消费者的服务是对所有计算基础设施的利用，包括处理CPU、内存、存储、网络和其他基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序通常分为是三种用法：共有云、私有
2020-08-04 16:46:41
749
原创 Kubernetes平台搭建
1. kubernetes架构特点：可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化，插件化，可挂载，可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展2. 搭建kubernetes集群2.1 环境说明registry安装私有仓库【主机：192.168.1.100】 配置yum源 yum-config-manager --add-repohttp://download.docker.com/linux/cent
2020-08-03 22:24:59
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人