- 博客(72)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 k8s集成jenkins权限故障记录
给jenkins用户配置sudo权限，然后build镜像。1.我部署的jenkins默认是以jenkins用户运行的；而docker是以root用户运行；2.针对此问题，我刚开始试着给jenkins用户添加了root和docker组。
2020-01-29 19:15:55
1510
1
原创 188. 部署Mahout数据挖据工具
8. 部署Mahout数据挖据工具8.1 部署Mahout进入先电大数据平台主界面，点击左侧的动作按钮，添加Mahout服务。
2020-01-26 14:45:55
253
原创 187. 部署Hbase分布式列数据库
7. 部署Hbase分布式列数据库7.1 部署HBase进入先电大数据平台主界面，点击左侧的动作按钮，添加HBase服务。7.2 HBase用户指南7.2.1 测试验证#su – hbase$ hbase shell7.2.2 HBase Shell常用命令HBase Shell常用的几个命令如下：名称命令表达式创建表create ‘表...
2020-01-26 14:11:12
262
原创 186. 部署Hive数据仓库
6. 部署Hive数据仓库6.1 部署Hive进入先电大数据平台主界面，点击左侧的动作按钮，添加Hive服务# mysql -uroot -pbigdataMariaDB [(none)]> create database hive; MariaDB [(none)]> grant all privileges on hive.* to 'hive'@'localh...
2020-01-26 12:42:31
368
原创 185. 部署管理Hadoop集群
5. 部署管理Hadoop集群5.1 部署Hadoop集群登陆界面http://{IP Address}:8080/，用户名密码为admin：admin。接下来就可以启动安装向导，创建集群，安装服务。部署成功后，便可成功进入界面。在主界面中，可以查看集群状态监控信息在HadoopMaster的终端执行jps命令，在打印结果中会看到master上运行的进程，这些进...
2020-01-25 23:54:18
408
原创 184. 大数据简介
文章目录1. 概述1.1 大数据简介1.2 先电大数据平台简介2. 基本环境配置2.1 配置主机名2.2 修改hosts文件2.3 修改yum源2.4 配置ntp2.5 配置SSH2.6 禁用Transparent Huge Pages2.7 安装配置JDK3. 配置ambari-server3.1 安装MariaDB数据库3.2 安装配置ambari-server1. 概述1.1 大数据简介...
2020-01-25 22:12:16
640
原创 Docker容器云监控
1. 安装cadvisor + prometheus1. 环境：docker01 docker02 启动容器cadvisor 采集数据docker01 docker02 启动容器node-exporter 监控宿主机资源docker03 安装prometheus2. 增加node节点[docker01 && docker02]上传docker_mon...
2020-01-24 19:08:36
722
原创 Docker跨主机容器之间通信
1. Docker跨主机容器之间的通信macvlan默认一个物理网卡，只有一个物理mac地址，虚拟多个mac地址1. 创建macvlan网络 【两个节点都执行】docker network create --driver macvlan --subnet 10.0.0.0/24 --gateway 10.0.0.254 -o parent=eth0 macvlan_1[root@doc...
2020-01-24 15:29:24
529
原创 云原生镜像仓库-Harbor
1. 安装harbor1. 安装docker和docker-compose[root@docker02 ~]# yum install docker-compose -y2. 下载harbor-offline-installer-v1.5.1.tgz3. 上传到/opt,并解压[root@docker02 opt]# tar xf harbor-offline-installer-v...
2020-01-24 14:15:50
443
原创 Docker 原生registry（私有仓库）
1. registry部署0. 导入镜像[root@docker01 ~]# docker load -i registry.tar.gz1.启动容器：[root@docker01 ~]# docker run -d -p 5000:5000 --restart=always --name registry -v /opt/myregistry:/var/lib/registry re...
2020-01-24 13:28:02
1959
原创 Docker-compose单机编排工具
1. 安装：yum install -y docker-compose（需要epel源）==============================================================2.wordpress 单机版docker-compose============================================================...
2020-01-24 12:23:52
1709
原创 容器间的互联 --link
使用docker 10秒快速部署企业zabbix-server1. 导入镜像for i in `ls *`; do docker load -i $i; done2. 运行镜像docker run --name mysql-server -t \ -e MYSQL_DATABASE="zabbix" \ -e MYSQL_USER="zabbix" \ ...
2020-01-24 11:28:58
352
原创 Docker镜像的分层与优化
1. docker的镜像分层相当于kvm 链接克隆，写时复制的特性docker里的镜像绝大部分都是在别的镜像的基础上去进行创建的，也就是使用镜像的分层结构。2. 实验比如说使用dockerfile去创建一个最简单的hello镜像。创建好对应的dockerfile之后去进行创建：FROM alpine:latestMAINTAINER sbbCMD echo "hello world"...
2020-01-24 11:07:51
4525
2
原创 Dockerfile构建docker镜像
1. dockerfile介绍类似ansible剧本，大小几kb 手动做镜像：大小几百M+dockerfile 支持自定义容器的初始命令docker images -a：显示所有镜像，包括失败的镜像docker image prune：清除失败的镜像缓存docker image prune -a：清除所有未被容器使用的镜像；极度危险！！！2. dockerfile主要组成部分：基础...
2020-01-23 17:01:43
374
原创 手动制作docker镜像
手动将容器保存为镜像1. 制作镜像思路：1. 启动一个基础镜像 docker run -it -p 80:80 centos:6.9 2. 进入容器安装服务 docker exec -it 88711c979d1b /bin/bash 3. 安装完服务后，回到宿主机提交镜像 docker commit 88711c979d1b ...
2020-01-23 16:54:05
297
原创 kvm运维命令总结
KVM命令：1. 日常管理：virsh list virsh list --allvirsh start centos7 #启动服务器virsh shutdown centos7 #关机比较慢virsh destroy centos7 #强制关机virsh reboot centos7 #重启virsh undefine centos7_1 #...
2020-01-23 11:40:16
351
原创 kvm虚拟机运维管理
1. virsh命令实战应用：1. 列出有状态的虚拟机[root@kvm01 ~]# virsh list Id Name State----------------------------------------------------2. 列出所有的虚拟机[root@kvm01 ~]# virsh list --all ...
2020-01-19 17:47:09
535
原创 宿主机安装kvm虚拟机
1. 环境准备：1.环境要求：centos 7.6物理机===宿主机===kvm虚拟机内存4G，cpu开启虚拟化IP：10.0.0.100curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo2.安装软件包[root@kvm01 opt]# yum install...
2020-01-19 16:33:37
534
原创 Yearning SQL审核平台部署
1. 安装注意事项：Yearning 不依赖于任何第三方SQL审核工具作为审核引擎,内部已自己实现审核/回滚相关逻辑。仅依赖Mysql数据库。mysql版本必须5.7及以上版本，请事先自行安装完毕且创建Yearning库,字符集应为UTF8mb4 (仅Yearning所需mysql版本)Yearning日志仅输出error级别,没有日志即可认为无运行错误！Yearning 基于108...
2020-01-19 15:20:10
627
原创 ELK应用之 Packetbeat分析网络包流量
1. 介绍packbeat是一个开源的实时网络抓包与分析框架，内置了很多常见的协议捕获及解析，如HTTP、MySQL、Redis等。在实际使用中，通常和Elasticsearch以及kibana联合使用，用于数据搜索和分析以及数据展示。 目前Packebeat支持的协议如下:ICMP (v4 and v6) DNS HTTP Mysql PostgreSQL Redis...
2020-01-18 23:50:21
2127
原创 ELK应用之Heartbeat 监控
1.安装heartbeat[root@web01 ~]# rpm -ivh heartbeat-7.4.0-x86_64.rpm2.配置heartbeat[root@web01 ~]# egrep -v "^#|^$" /etc/heartbeat/heartbeat.yml heartbeat.config.monitors: path: ${path.config}/moni...
2020-01-18 23:16:23
753
原创 ELK应用之Metricbeat 监控
module 官方提供可采集指标的对象: nginx mysql redis 系统 …metricset 采集这个模块中的那些个具体的指标: CPU 内存 IO 网络1. Metricbeat组成：2. Metricbeat监控系统1.安装metricbeat[root@web01 ~]# rpm -ivh metricbeat-7.4.0-x86_64.rpm...
2020-01-18 22:28:41
722
原创 Filebeat-modules 日志分析
filebeat module将非结构化数据,转为结构化数据. module logstashfilebeat module --> ES.1. 使用filebeat module采集Nginx日志 (Nginx日志是非结构数据)1)修改filebeat配置文件[root@web01 ~]# cat /etc/filebeat/filebeat.ymlfilebea...
2020-01-18 21:37:16
1234
原创 Kafka集群接入ELK打造海量日志分析平台
1. 消息队列基本介绍1. 什么是消息队列?消息Message :比如两个设备进行数据的传输,所传输的数据,都可以称为消息,可以是文本、音频队列Queue :是一种”先进先出 的数据结构。类似排队买票、羽毛球筒。消息队列MQ :是用来保存消息的一个容器。 消息队列需要两个功能接[ 7供外部调用,一个是生产一个是消费。主要是进行数据存储和读取。把数据放到消息队列叫做生产者,从队列里取数...
2020-01-17 21:13:18
429
原创 ELK应用之Logstash 数据转换
1. LogstashLogstash 是开源的数据处理管道，能够同时出来从多个源采集数据，转换数据，然后输出数据2. Logstash架构介绍Logstash 的基础架构类型pipeline流水线 input: 数据采集（常用插件：stdin,file,kafka,beat,http） Fileter:数据解析/转换（常用插件：grok,date，geoip，mutate，userag...
2020-01-16 13:35:26
1930
原创 ELK应用之Filebeat 日志采集
1. Filebeat基本介绍Filebeat是用于“转发”和“集中日志数据”的“轻量型数据采集器”。Filebeat 监视您指定的日志文件路径,收集日志事件并将数据转发到Elasticsearch或Logstash、Redis、 Kafka等。2. Filebeat主要组件Filebeat包含两个主要组件:输入和收割机,这些组件协同工作将文件尾部最新事件数据发送到指 定的输出1.输入...
2020-01-14 22:42:00
580
原创 Elastcisearch 7.4 集群交付
Elasticsearch 是一个分布式，RESTful（curl命令操作系统） 风格的搜索和数据分析引擎。
2020-01-13 22:48:02
438
原创 SQL 审核查询平台 Archery
Archery 定位于 SQL 审核查询平台，旨在提升 DBA 的工作效率，支持主流数据库的 SQL 上线和查询，同时支持丰富的 MySQL 运维功能SQL 审核平台使用说明：1. 安装【docker】1. 安装docker docker-compose yum install docker-ce docker-compose -y2. 在线克隆 Archery文件，解压后进入d...
2020-01-13 21:04:45
1149
原创 OpenStack Train版-安装部署教程
OpenStack_Train版-安装部署教程1. 安装基础环境&服务2. 安装keystone身份认证服务3. 安装glance镜像服务4. 安装placement放置服务5. 安装nova计算服务（控制节点）6. 安装nova计算服务（计算节点）7. neutron网络服务概述8. 安装neutron网络服务（控制节点）9. 安装neutron网络服务（计算节点）1...
2020-01-12 15:55:11
14356
3
原创 161.OpenStack_Train版-12.安装块存储服务cinder（控制节点）
1. 创建cinder数据库并授权[root@controller ~]# mysqlMariaDB [(none)]> CREATE DATABASE cinder;Query OK, 1 row affected (0.012 sec)MariaDB [(none)]> GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'local...
2020-01-12 12:35:31
1312
1
原创 160. OpenStack_Train版-创建实例报错
1. 详细报错信息：Traceback (most recent call last): File "/usr/lib/python2.7/site-packages/nova/compute/manager.py", line 2143, in _do_build_and_run_instance filter_properties, request_spec) File "/usr/lib/...
2020-01-11 17:34:18
2996
原创 159.OpenStack Train版-11.启动实例（控制节点）
准备工作1、检查各个节点间的网络通讯在控制节点执行ping ping compute01ping 10.0.0.312、删除NetworkManager软件包在控制节点和计算节点都执行yum remove NetworkManager -y3. controller节点创建网络neutron net-create --shared --provider:physical_...
2020-01-11 12:32:44
1169
原创 158.OpenStack Train版-10.安装horizon服务（计算节点）
OpenStack仪表板Dashboard服务的项目名称是Horizon，它所需的唯一服务是身份服务keystone，开发语言是python的web框架Django。系统要求安装Train版本的Horizon有以下要求：1、语言环境Python 2.7、3.6或3.7Django 1.11、2.0和2.2Django 2.0和2.2支持在Train版本中处于试验阶段。Ussuri发行...
2020-01-11 11:48:34
1515
2
原创 157.OpenStack Train版-9.安装neutron网络服务（计算节点）
1. 安装组件[root@compute01 ~]# yum install openstack-neutron-linuxbridge ebtables ipset -y2. 修改配置文件（1）修改neutron主配置文件[root@compute01 ~]# cp -a /etc/neutron/neutron.conf{,.bak}[root@compute01 ~]# grep ...
2020-01-11 11:44:49
1019
原创 156.OpenStack Train版-8.安装neutron网络服务（控制节点）
1. 创建neutron数据库并授权[root@controller ~]# mysql -urootMariaDB [(none)]> CREATE DATABASE neutron;Query OK, 1 row affected (0.000 sec)MariaDB [(none)]> GRANT ALL PRIVILEGES ON neutron.* TO 'neut...
2020-01-11 11:42:16
1299
原创 155.OpenStack Train版-7.neutron网络服务概述
网络服务neutron概述一、neutron架构OpenStack的网络服务neutron是整个OpenStack中最复杂的一个部分，它的基本架构是一个中心服务（neutron-server）外加各种plugins和agents，使用不同的network provider（网络提供者，如Linux Bridge、OpenvSwitch（ovs）等）来实现各种网络架构，在这之上为实例提供网络、子...
2020-01-11 11:38:48
1116
原创 154.OpenStack Train版-6.安装nova计算服务（计算节点）
1. 安装软件包[root@compute01 ~]# yum install centos-release-openstack-train -y[root@compute01 ~]# yum install openstack-nova-compute -y2. 修改计算节点的nova配置文件[root@compute01 ~]# cp -a /etc/nova/nova.conf{,...
2020-01-11 11:36:16
1087
2
原创 153.OpenStack Train版-5.安装nova计算服务（控制节点）
计算服务nova较之前的服务稍显复杂（但没有网络服务neutron复杂），它需要在控制节点和计算节点都安装控制节点主要安装nova-api（nova主服务）、nova-scheduler（nova调度服务）、nova-conductor（nova数据库服务，提供数据库访问）、nova-novncproxy（nova的vnc服务，提供实例的控制台）等服务；计算节点主要安装nova-compute...
2020-01-11 11:33:01
1165
原创 152.OpenStack Train版-4.安装placement放置服务
1. 创建placement数据库[root@controller ~]# mysql -uroot -pMariaDB [(none)]> CREATE DATABASE placement;授予数据库权限MariaDB [(none)]> GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'localhost' IDEN...
2020-01-11 11:29:16
1186
原创 151.OpenStack Train版-3.安装glance镜像服务
1. 创建数据库并授权[root@controller ~]# mysql -u root MariaDB [(none)]> CREATE DATABASE glance;Query OK, 1 row affected (0.000 sec)MariaDB [(none)]> GRANT ALL PRIVILEGES ON glance.* TO 'glance'@'lo...
2020-01-11 11:27:11
958
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人