记录一次OpenStack云盘(系统+数据)损坏的修复过程

问题概述 云环境:OpenStack Mitaka 虚拟机系统:CentOS 7.2 云盘:Cinder对接Ceph实现 经过一系列复杂原因(- _ -),某个虚拟机的后端云盘损坏(该云盘为启动盘,同时包含大量数据),所创建的虚拟机无法正常进入操作系统。因为nova resuce仅支持从镜...

2019-03-29 17:31:27

阅读数 34

评论数 0

AmbariServer高可用搭建指南

一.前言 本篇文章主要讲解Ambari Server端的高可用搭建。注意,是Ambari的Server,而不是Hadoop集群的应用。截止目前为止(Ambari 2.7.x),hortonworks官方并没有给出AmbariServer的高可用的内部实现。因此本篇文章主要讲解如何通过现有开源组件...

2019-01-29 10:13:47

阅读数 331

评论数 0

HiBench 7.x 使用问题整理

一. 介绍 HiBench是一款用于hadoop集群性能测试的开源工具。支持MR,HIVE,SPARK等计算框架,且支持多种维度的测试。早在HiBench5.0的时候作者就用过,个人感觉还不错,无论是apache hadoop,cdh还是hdp都可以支持。 最新发现,HiBench 7.x 版...

2018-12-22 18:52:09

阅读数 354

评论数 0

从Elasticsearch详解Ambari与第三方软件的集成(三)

上文已经讲了集成实现的具体步骤,下面我们以Elasticsearch和Kibana为例,来简单实践下第三方集成服务的安装。   三. 部署使用 1. Ambari安装第三方服务 1)下载代码   2)拷贝至Ambari的服务目录(这里采用2.6版本): cp -r ./ELASTI...

2018-11-18 12:43:22

阅读数 546

评论数 5

从Elasticsearch详解Ambari与第三方软件的集成(二)

上文已经简单介绍了前因,这里我们就最核心的内容:如何做,进行讲解。   二. 集成实现过程详解 Ambari下服务资源的定义结构如下图所示: |_ stacks |_ <stack_name> |_ <s...

2018-11-18 12:42:46

阅读数 527

评论数 0

从Elasticsearch详解Ambari与第三方软件的集成(一)

一. 简单介绍 1. 软件介绍 1)Ambari(HDP) 玩过大数据的人都知道,除了原生的apache hadoop,有两大hadoop厂商(现在已经合并了。。喜闻乐见。。。):Hortonworks 和 Cloudera。Cloudera的hadoop产品相对来讲成熟度高,商业化程度高。...

2018-11-18 12:42:20

阅读数 403

评论数 3

关于Mirantis OpenStack开源组件LMA工具链相关问题整理

简单介绍: LMA组件全称为Logging, Monitoring, and Alerting toolchain of Mirantis OpenStack,是服务于Mirantis OpenStack的一套监控运维组件。其通过collectd实现采集,通过elasticsearch-kiba...

2018-11-14 14:19:56

阅读数 172

评论数 0

关于Harbor部署过程中存储路径修改的实践

安装 Harbor安装的环境要求,具体步骤不再细说,过程很简单,详情请见官网文档: https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md   在默认的安装部署下,harbor的存储路径是/data...

2018-10-24 09:20:41

阅读数 1567

评论数 5

如何制作Windows10 qcow2镜像

转载连接:https://www.cnblogs.com/guoxiangyue/p/9188316.html 补充: 1. CentOS7.2版本的virt-manager 不直接支持 Windows10 (不知道Windows8.1能否成功安装Windows10)。本人采用的是CentOS...

2018-10-16 21:14:00

阅读数 810

评论数 0

如何使用guestfish修改generic-cloud镜像

环境: 1. CentOS 7.2系统虚拟机一台(物理机也可); 2. 待修改的镜像文件:CentOS-7-x86_64-GenericCloud-1511.qcow2   步骤: 1. yum 安装所需组件: yum install libguestfs-tools guestfi...

2018-10-14 18:12:51

阅读数 266

评论数 0

GitLab 容器化 CI 流程填坑记(一)

本文以SpringBoot项目的部署构建为例,对基于GItLab的CI流程进行简要介绍。   环境准备: 1. 系统环境: 操作系统:CentOS 7.2 1511 GitLab:v11.1.4 GitLab-runner:v11.2.0 Docker:17.03.2 ce   ...

2018-09-10 20:52:58

阅读数 1823

评论数 0

Mirantis OpenStack Fuel9.x 离线全自动脚本实现

前提条件:已成功安装Fuel9.0(以能成功登录web界面为准)   此脚本整合了9.0和9.2两个Fuel版本对应的资源,将一键完成离线环境下: 1. 常规设置(时区、语言、时间等) 2. 9.0 ~ 9.2的升级(9.0无) 3. bootstrap设置 4. mirror设置 ...

2018-09-08 13:03:20

阅读数 467

评论数 0

HDP 下 SPARK2 与 Phoenix 的整合

环境: 操作系统:Centos7.2 1511 Ambari:2.6.2.0 HDP:2.6.5.0 Spark:2.x (HDP) Phoenix:4.7.x (HDP)   条件: 1. HBase 安装完成; 2. Phoenix已经启用,ambari界面如下所示: ...

2018-09-08 13:03:08

阅读数 774

评论数 2

踩坑记——Azkaban Hdfs Plugin 安装

本文详细记录了:centos7.2, cdh 5.12 环境下azkaban 3.20.0 Hdfs插件的安装过程。因为官网文档在此部分的说明极为简陋,且3.x的插件需要源码构建并且问题诸多,因此留下此篇文章助诸位过坑。 官网文档:https://azkaban.github.io/azkaban...

2017-10-24 11:54:33

阅读数 2080

评论数 1

基于centos7.2最小化环境, cdh manager 及 cdh 集群的部署过程常见问题整理

注:此篇文章主要面向对hadoop有一定了解的开发和运维人员,若是初次接触hadoop集群,具体安装过程请更多参考Ambari的安装部署教程:http://blog.csdn.net/balabalayi/article/details/64920537 CDH Manager的部署与安装与Amb...

2017-08-08 14:18:19

阅读数 1485

评论数 0

Hadoop建设工具Ambari的安装部署及完整使用(五)——Ambari使用之集群卸载

五.Ambari使用——卸载集群 ambari本身并没有提供自动化卸载的功能。ambari web管理端的操作更多的是实现服务或是主机的扩展(无法完全清除服务和主机)。因此本人通过实践,也整理了一份手动卸载脚本: 注:因为此脚本只是根据作者实践以及其它网络资料整理而成,所以脚本内容一定不全(目...

2017-03-28 13:19:39

阅读数 2205

评论数 0

Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

一.POM依赖 作者的hadoop集群环境为: HDFS,YARN,MapReduce2 : 2.7.3 Hive : 1.2.1000 HBase : 1.1.2 注:phoenix版本依赖性较强,请注意不同发行版之间的差异(直接从集群服务器上获取jar包最为可靠) UTF-8 2....

2017-03-28 09:10:05

阅读数 8868

评论数 1

RabbitMQ-3.6.6的集群安装

一.下载并安装基础组件 rabbitmq是基于erlang语言实现的,因此首先需要安装erlang环境。 这里,我们直接采用yum安装: yum-y install erlang 二.下载RabbitMQ-3.6.6并安装 wget http://www.rabbitmq...

2017-03-22 19:37:57

阅读数 670

评论数 0

Redis-3.2.8的集群安装部署

一.下载并安装基础组件 yum -y install gcc automake autoconf libtool make jemalloc 二.下载redis并解压安装 wget http://download.redis.io/releases/redis-3.2.8.tar...

2017-03-22 19:18:39

阅读数 2210

评论数 0

Hadoop建设工具Ambari的安装部署及完整使用(四)——Ambari使用之集群建立

四.Ambari使用——建立集群1.登录并创建集群1) 以管理员登录ambari-server,用户名和密码默认为:admin/admin 2) 点击【Launch Install Wizard】开始安装集群 3) 给集群命名 4) 选择版本及对应的远程或本地仓库地址远程仓库设置:直接选择即可 本...

2017-03-22 15:57:15

阅读数 1126

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭