OGG-01431 OGG-01003 OGG-01151 报错 OGG进程报错,查看报错信息如下 :解决思路如下:(1) 比对源端和目标端的表结构字段相关信息(主键 索引以及字段顺序)!(表面看没问题)(2)查看def文件定义是否有问题(没问题)(3)尝试用报错用户重新生成def文件查看表结构相关信息看到提示无主键,说明主键失效!重新创建主键即可!...
大数据技术之 Hadoop(HDFS) HDFS 概述1.1 HDFS 产出背景及定义1)HDFS 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系 统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。2)HDFS 定义 HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目 录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集
Hadoop集群启动/停止方式 1.各个模块分开启动/停止(配置 ssh 是前提)(1)整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh(2)整体启动/停止 YARN start-yarn.sh/stop-yarn.sh2. 各个服务组件逐一启动/停止(1)分别启动/停止 HDFS 组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode(2)启动/停止 ...
Hadoop简介和集群搭建测试(一) Hadoop的优势有四高:(1) 高可用:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元 素或存储出现故障,也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据,可方便的扩展数以千计的节点(3) 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处 理速度(4) 高容错性:能够自动将失败的任务重新分配。Hadoop组成:HDFS 架构概述:Hadoop Distributed File System,简称 HDFS,是...
Shell脚本实现俄罗斯方块小游戏 Shell脚本实现俄罗斯方块小游戏(转自:http://blog.51cto.com/lizhenliang/1687612)#!/bin/bashAPP_NAME="${0##*[\\/]}"APP_VERSION="1.0"#颜色定义iSumColor=7 #颜色总数cRed=1 #红色cGreen=2 #绿色cYellow=3 #×××cBlue=4 #蓝色cFuc.
查看linux系统性能瓶颈(转) Shell脚本查看linux系统性能瓶颈(转自:http://blog.51cto.com/lizhenliang/1687612)#!/bin/bash#os_check() { if [ -e /etc/redhat-release ]; then REDHAT=`cat /etc/redhat-release |cut -d' ' -f1` else DEBIAN=`cat /etc/issue
centos6.9离线安装ansible (1)下载Python-2.7.8版本的压缩包[root@machine-app1 ~]#wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz[root@machine-app1 ~]#tar xvzf Python-2.7.8.tgz[root@machine-app1 ~]# cd Python-2.7.8[root@machine-app1 ~]#./configure --prefix=/usr/local[roo.
Docker常用操作 安装docker----epel源yum install -y epel-release----安装yum集成的实用程序集合yum install -y yum-utils ----获得docker-ce的yum仓库yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo ----列出docker版本信息yum list docker-ce --show-
根据kubelet.kubeconfig文件解析到证书 证书分发四步结束之后会有kubelet.kubeconfig生成,查看kubelet.kubeconfig配置文件中的client-certificate-data部分如下:利用base64反解析出证书,如下:[root@hdss-1-200 certs]# echo "LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUR3akNDQXFxZ0F3SUJBZ0lVS3UvL21KOWtNN0ZweHJUUUZRRStBNEZOWU13d0RRWUpLb1p..
k8s -- kube-proxy 部署kube-proxy集群规划主机名 角色 ipHDSS7-21.host.com kube-proxy 192.168.153.21 HDSS7-22.host.com kube-proxy 192.168.153.22签发生成证书签名请求(CSR)的JSON配置文件(vi /opt/certs/kube-proxy-csr.json){ "CN": "system:kube-proxy", "key": {
k8s --etcd 集群检测异常( could not connect: x509) etcd集群单节点检测正常[root@hdss-1-12 etcd]# supervisorctl statusetcd-server-1-12 RUNNING pid 13282, uptime 0:00:42集群节点检测报错如下:[root@hdss-1-12 etcd]# ./etcdctl member listclient: etcd cluster is unavailable or misconfigured; error #0: dia...
k8s -- 部署主控节点控制器/调度器服务 安装部署主控节点控制器/调度器服务集群规划主机名 角色 iphdss-1-21.host.com controller-manager 192.168.1.21hdss-1-22.host.com controller-manager 192.168.1.22注意:这里部署文档以hdss-1-22.host.com主机为例,另外一台运算节点安装部署方法类似编辑kube-controller-manager.sh执行脚本[roo
k8s -- nginx反向代理 安装部署主控节点4层反向代理服务,部署在hdss-1-11 hdss-1-12机器上,用VIP 192.168.1.10的7443端口,反代hdss-1-21、hdss-1-22的apiserver6443端口nginx配置(四层反向代理)HDSS-1-11和HDSS-1-12上同时操作,安装nginx,在配置文件最后追加反向代理的配置[root@hdss7-11 ~]# yum install -y nginx [root@hdss7-11 ~]# vi /etc/nginx/nginx.
k8s -- APIServer(主控节点) 部署kube-apiserver集群集群规划 主机名 角色 ipHDSS1-21.host.com kube-apiserver 192.168.16.13HDSS1-22.host.com kube-apiserver 192.168.16.14HDSS1-11.host.com 4层负载均衡 192.168.16.11HDSS1-12.host.com 4层负载均衡 192.168.16.12注意:这里192.168.1.
k8s -- etcd集群部署 部署etcd集群 集群规划 主机名 角色 ipHDss-1-12.host.com ectc lead 192.168.1.12HDss-1-21.host.com ectc follow 192.168.1.21HDss-1-22.host.com ectc follow 192.168.1.22部署master节点服务1. 在主配置服务器上生成证书 编辑 ca-.
k8s--docker镜像私有仓库( harbor) 安装1.7.6以上版本,在200那台主配置服务器上操作1. 下载并解压导指定目录[root@hdss-1-200 src]# lsharbor-offline-installer-v1.8.3.tgz[root@hdss-1-200 src]# tar -zxvf harbor-offline-installer-v1.8.3.tgz -C /opt/harbor/harbor.v1.8.3.tar.gzharbor/prepareharbor/LICENSEharbor/insta
k8s--docker安装 在主机与运维主机上:21、22、200 三台都要部署安装1.下载镜像[root@hdss-1-22 ~]#yum clean all[root@hdss-1-22 ~]# curl -fsSL https://get.docker.com|bash -s docker --mirror Aliyun# Executing docker install script, commit: 3d8fe77c2c46c5b7571f94b42793905e5b3e42e4+ sh -c 'yum
k8s--证书签发 1.准备签发证书环境运维主机 hdss-1-200.host.com上:2.安装CFSSL证书签发工具CFSSL:R1.2cfssl下载地址https://pkg.cfssl.org/R1.2/cfssl_linux-amd64cfssl-json下载地址https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64cfssl-certinfo下载地址https://pkg.cfssl.org/R1.2/cfssl-certinfo_li...
k8s--bind安装 1.调整操作系统:linux内核3.10以上所有主机上:selinux关闭sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/configfirewall关闭systemctl stop firewalldsystemctl enable firewalld调整yum源:1.安装epel-releaseyum install -y epel-release2.安装必要..
Linux就该这么学--DNS配置 DNS域名解析服务相较于由数字构成的IP地址,域名更容易被理解和记忆,所以我们通常更习惯通过域名的方式来访问网络中的资源。但是,网络中的计算机之间只能基于IP地址来相互识别对方的身份,而且要想在互联网中传输数据,也必须基于外网的IP地址来完成。为了降低用户访问网络资源的门槛,DNS(Domain Name System,域名系统)技术应运而生。这是一项用于管理和解析域名与IP地址对应关系的技术,简单来说,就是能够接受用户输入的域名或IP地址,然后自动查找与之匹配(或者说具有映射关系)的IP地址或域名