hegusailuo-CSDN博客

原创 hydd的Linux笔记Day78

Day78Hadoop分布式集群单机安装部署购买云主机主机IP地址配置hadoop1192.168.1.50最低配置2核2Ghadoop安装拷贝云盘 public/hadoop/hadoop-2.7.7.tar.gz 到 hadoop1 上[root@hadoop1 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel[root@hadoop1 ~]# tar -zxf hadoop-2.7

2020-12-24 19:09:49 290 1

原创 hydd的Linux笔记Day77

Day77ELK日志分析平台logstash安装购买云主机主机IP地址配置logstash192.168.1.47最低配置2核2Gweb192.168.1.48最低配置1核1Gweb云主机安装[root@web ~]# yum install -y httpd[root@web ~]# systemctl enable --now httpd[root@web ~]# echo "hello world" >/var/www/html/i

2020-12-23 08:50:45 312

原创 hydd的Linux笔记Day76

Day76ELK日志分析平台ELK概述ELK是什么ELK分别代表 Elasticsearch：负责日志检索和存储 Logstash：日志收集和分析、处理 Kibana：负责日志可视化 ELK是一整套的解决的方案，是上面三个软件的组成的，三款都是开源软件，互相配合。ELK是做什么的？ELK组件在海量日志系统的运维中可以用于解决分布式日志数据集中式的查询和管理系统监控，包含系统硬件和应用各个组件的监控故障排查安全信息和事件管理报表功能Elasticse

2020-12-22 09:59:51 367

原创 hydd的Linux笔记Day75

Day75部署metrics-servermetricsmettics介绍metrics是什么？metrics是一个监控系统资源使用的插件，可以监控node节点上的cpu、内存的使用率，或者pod对资源的占用率，通过对资源占用的了解，更加合理的部署容器应用。metrics从Kubernetes 1.8开始，资源的使用情况的监控可以通过Metrics API的形成获取，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1.11开始逐步废弃。metric-

2020-12-21 17:02:47 292

原创 hydd的Linux笔记Day74

Day74service服务管理服务基础会变化的资源会变化的Pod资源，当发现某一个pod不能使用的时候RS会在其它机器上再创建一个相同的Pod，以及对应的容器service服务会变化的pod给我们访问带来很多不便sevice就是解决办法之一service会创建一个cluster ip，这个地址对应资源地址，不管pod如何变化，service总能找到对应的pod，且cluster ip保持不变，如果pod对应着多个容器，service会自动在多个容器实现负载均衡service通过port，

2020-12-18 08:47:54 173

原创 hydd的Linux笔记Day73

Day73Kubernetes管理kubectl命令kubectl介绍kubectl是用于控制Kubernetes集群的命令行工具语法格式：kubectl [子命令] [资源类型] [资源名称] [指定可选标志]kubectl runkubectl run 创建容器语法格式：kubectl run 资源名称 -i -t --image=私有仓库镜像名称：标签kubectl getkubectl get 查询资源 get node 查询节点状态 get deployment 查询

2020-12-17 09:23:59 282

原创 hydd的Linux笔记Day72

Day72Kubernetes master概述kubernetes概述kubebnets介绍kubectl是谷歌研发的大规模容器管理技术Borg的开源管理Borg的开源版本。可以简写为k8s.K8S的用途k8s是一套能够对容器进行更高级更灵活的编排管理和调度等操作的系统。K8s是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动化扩容缩容、维护等功能。Kubernetes适用场景有大量跨主机的容器需要管理快速部署应用、快速扩展应用无缝对接新应用的功能节省资源，

2020-12-16 08:16:11 240

原创 hydd的Liunx笔记Day71

Day71镜像管理commit自定义镜像原理因为镜像采取分层设计，所以操作为1.创建读写层2.修改配置3.重新打包commit 打包镜像docker commit 容器id 新镜像名称:标签[root@node-0001 ~]# docker run -it centos:latest[root@02fd1719c038 ~]# rm -f /etc/yum.repos.d/*.repo[root@02fd1719c038 ~]# curl -o /etc/yum.repos.d/Cent

2020-12-15 08:17:40 235

原创 hydd的Linux笔记Day70

Day70容器技术容器介绍Linux容器是用来装应用的容器就是将软件打包成标准化单元用于开发交付和部署容器技术已经成为应用程序封装和交付的核心技术容器原理容器的核心技术Cgroups 资源管理SELinux 安全NameSpace 命名空间容器的优缺点优点：相比于传统的虚拟化技术，容器更加简介简洁高效传统虚拟机需要给每一个VM安装操作系统。容器使用的客户的共享公共库和程序缺点：容器的隔离性没有虚拟化强大共用Linux内核，安全性有先天性缺陷docker是什么dock

2020-12-14 08:21:02 181

原创 hydd的Linux笔记Day69

Day69华为云服务创建私有云创建私有云选择区域，名称等，如图购买云服务云主机在laas云里，云主机就是指虚拟机在华为云里叫ECS购买ECS选择按需购买ECS，选择型号和系统后，查看价格网络配置，设置密码使用云主机华为云管理管理云服务常见问题问：云主机能否访问互联网答：不能，因为访问互联网需要购买带宽和公网IP地址，我们目前没有购买所以不能上网。问：不能访问互联网怎么安装应用答：华为为了解决私网用户软件安装的问题制作了华为云死亡Yum源，用户可以通

2020-12-11 08:21:32 267 1

原创 hydd的Linux笔记Day68

Day68私有云管理项目管理概念项目是由admin角色的用户创建的项目：一组隔离的资源和对象。由一组关联的用户进行管理。根据配置的需求，项目对应一个组织、一个公司或是一个使用客户等。项目中可以有多个用户，项目中的用户用来管理虚拟资源项目相关信息保存到数据库中默认项目缺省情况下，packstack安装的openstack中有两个独立的项目。admin：为admin账户创建的项目services：与安装的各个服务相关联Horizon创建项目通过命令行管理项目创建名为tedu项目

2020-12-10 08:15:44 187

原创 hydd的Linux笔记Day67

Day67私有云简介私有云软硬件环境需求最少16G内存，至少2cpu虚拟机CPU需要支持虚拟化指令集需要64位操作系统云服务按照使用方式云服务可以分为：公有云、私有云、混合云私有云：自己做好自己用公有云：别人做好，花钱用混合云：自己做的和别人做的都用Openstack介绍是一个由NASA和Rackspace合作研发并发起的项目是一套laaS解决方案、是一个开源的云计算管理平台以Apache许可证为授权Horizon组件它可以为OpenStack服务的web控制面板，它可

2020-12-09 08:26:55 511

原创 hydd的Linux笔记Day66

Day66云平台部署与管理环境准备一台最小化安装的虚拟机，且能连接互联网IP地址：192.168.1.xx/24最低硬件配置：2CPU，4G内存一、修改虚拟机网卡名称[root@A ~]# vim /etc/default/grub #添加配置GRUB_TIMEOUT=5GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"GRUB_DEFAULT=savedGRUB_DISABLE_SUBMENU=tr

2020-12-08 08:15:39 492 1

原创 hydd的Linux笔记Day65

Day65主从复制主从复制概述主从复制结构模式一主一从、一主多从、主从从主从复制工作原理工作原理：1. slave向master发送sync命令2. master启动后台存盘进程，并收集修改数据命令3. master完成后台存盘后，传送整个数据文件到slave4. slave接收数据文件，加载到内存中完成首次完全同步5. 后续有新数据产生时，master继续收集数据修改命令依次传给salve，完成同步配置主从复制拓扑结构配置从库redis服务运行后，默认都是master服务

2020-12-04 08:37:06 139

原创 hydd的LInux笔记Day64

Day64创建集群集群环境环境拓扑IP规划创建集群部署管理主机可以部署在任意一台redis服务器上或者单独部署步骤如下：部署ruby简本运行环境[root@mgm57 ~]#yum -y install rubygems [root@mgm57 ~]# which gem/usr/bin/gem[root@mgm57 ~]# ls *.gemredis-3.2.1.gem[root@mgm57 ~]#[root@mgm57 ~]# gem install

2020-12-03 08:52:55 163

原创 hydd的Linux笔记Day64

Day64创建集群集群环境环境拓扑IP规划创建集群部署管理主机可以部署在任意一台redis服务器上或者单独部署步骤如下：部署ruby简本运行环境[root@mgm57 ~]#yum -y install rubygems [root@mgm57 ~]# which gem/usr/bin/gem[root@mgm57 ~]# ls *.gemredis-3.2.1.gem[root@mgm57 ~]#[root@mgm57 ~]# gem install

2020-12-02 08:40:44 173

原创 hydd的Linux笔记Day63

Day63NoSQL数据库管理数据库类型RDBMS关系数据库管理系统按照预先设置的组织结构，将数据存储在物理介质上数据之间可以做关联操作RDBMS软件主流的RDBMS软件MySQLMariaDBOracleDB2SQL ServerPostgreSQLNoSQL 意思是不仅仅是SQL 泛指非关系型数据库不需要预先定义数据存储结构每条记录可以有不同的数据类型和字段个数NoSQL软件主流软件 Memcached Redis Mo

2020-12-01 08:14:56 224

原创 hydd的Linux笔记Day62

Day62PXCPXC概述PXC介绍是基于Galera的MySQL高可用解决方案是高可用免费开源的方案PXC分两个部分：Percona Server with XtraDB和Write Set Replicaton peatches（同步、多主复制插件）PXC特点数据强一致性、无同步延迟没有主从切换操作，无需使用虚拟IP支持lnnoDB存储引擎多线程复制部署使用简单支持节点自动加入，无需手动拷贝数据相应端口服务端口端口说明3306数据库服务器端口

2020-11-30 08:04:26 369 1

原创 hydd的LInux笔记Day61

Day61MHA集群概述MHA介绍MHA简介MHA（Master high Availability）是由日本DeNA公司开发，是一套优秀实现MySQL高可用的解决方案，是数据库的自动故障切换操作能做到0~30秒之内完成，MHA能确保在故障切换过程中最大限度的保证数据的一致性以达到真正意义上的高可用。MHA组成MHA Manger（管理节点）管理所有数据库服务器可以单独部署在一台独立的机器上也可以部署在某台数据库服务器上MHA Node存储数据的mysql服务器上运行在每

2020-11-28 15:18:03 151

原创 hydd的Linux笔记Day60

Day60数据分片概述分库/分表概念：将存放在在一台数据库服务器中的数据，按照特定的方式进行拆分，分散存放到多台数据库服务器中，以达到分散单台服务器负载的效果。水平分割水平切割又叫横向切分：按照表中指定字段的分片规则，将表记录按行切分，分散存储在多个数据库中。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qRUYuLhC-1606436619115)(E:\图片\捕获.PNG)]垂直分割也叫纵向分割将单个数据库的多个表按业务类型分类，分散存储

2020-11-27 08:26:24 210

原创 hydd的Linux笔记Day59

Day59数据读写分离读写分离概述MySQL读写分离主从复制的应用局限性：读写操作都在一台服务器上，容易出现单点故障如何分离MySQL读、写流量：通过建立Mysql代理服务器拓扑和环境准备使用4台虚拟机，如图所示。其中192.168.4.51和192.168.4.52，分别提供读、写服务，均衡流量，通过主从复制保持数据一致性，由MySQL代理192.168.4.57面向客户端提供服务，收到SQL写请求时，交给主服务器处理，收到SQL读请求时，交给从服务器处理。在客户机192.168.4

2020-11-26 15:33:08 127

原创 hydd的Linux笔记Day58

Day58MySQL主从同步主从同步概述MySQL主从同步主从同步介绍实现数据自动同步的服务结构主服务器：接受客户端访问链接从服务器：自动同步主服务器数据实验拓扑主从同步原理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oz7GDVLx-1606264290992)(C:\Users\BJTT\AppData\Roaming\Typora\typora-user-images\1606176640027.png)]主服务器(Master):

2020-11-25 08:32:53 180

原创 hedd的Linux笔记Day57

Day57percona软件介绍MySQL备份工具常用的MySQL备份工具物理备份的缺点、跨平台性差备份时间长、冗余备份、浪费存储空间mysqldump备份缺点效率较低、备份和还原速度慢、锁表。备份过程中，数据插入和更新操作被阻塞XtraBackup工具一款强大的在线热备份工具，备份过程中不锁库表，适合生产环境，由专业组织Percona提供（改进MySQL分支）主要含两个组件： xtrabackup：C程序，支持innoDB/XtraDB inno

2020-11-24 07:58:48 155

原创 hydd的Linux笔记Day56

Day56用户授权用户授权grant授权授权：添加用户并设置权限。命令格式 grant 权限列表 on 库名 to 用户名@“客户端地址” identified by “密码” //授权用户密码 wIth grant option； //有授权权限，可选项权限列表all //所有权限usage //无权限seelct，update，insert //个别权限select，update(字段1，……，字段N) //指定字段库名*.* //所有库所有表库

2020-11-21 08:40:01 189

原创 hydd的Linux笔记Day55

2020-11-20 08:00:34 176

原创 hydd的Linux笔记Day54

Day54表结构约束条件查看约束条件mysql> desc 库名.表名；设置约束条件null 允许为空（默认设置）not null 不允许为空key 键值类型defualt 设置默认值，缺省为NULLextra 额外设置案例设置约束1）在db2库里创建t2表时设置字段约束条件mysql> create database db2; //建库Query OK, 1 row affected (0.00 sec)mysql> use db2; //切换库D

2020-11-19 08:13:21 92

原创 hydd的Linux笔记Day53

Day53DBA基础构建MySQL服务器环境准备IP地址:192.168.4.50主机名称:host50下载软件mysql-5.7.17.tar关闭防火墙（如果有的话）关闭SELinux（如果有的话）安装mysql软件包1）解压mysql-5.7.17.tar 软件包[root@host50 ~]# tar -xvf mysql-5.7.17.tar //解压mysql整合包./mysql-community-client-5.7.17-1.el7.x86

2020-11-18 08:32:36 251

原创 hydd的Linux笔记Day52

Day52iptables防火墙防火墙概述防火墙是一道保护性的安全屏障起到保护和隔离作用。Linux包过滤防火墙RHEL7默认使用firewalld作为防火墙，但是firewalld底层还是调用包过滤防火墙iptablesiptables防火墙具有4表5链，4表分别是filter表，nat表，raw表、mangle表，5链分别是INPUT链、OUTPUT链、FORWARD链、PREROUTING链。防火规则要求写在特定表的特定链中。效果如图：[外链图片转存失败,源站可能有防盗链机制,建议将图片

2020-11-17 08:02:30 179

原创 hydd的Linux笔记Day51

Day51系统审计概述审计是基于事先配置的规则，记录可能发生在系统上的事件。审计不会为系统提供额外的安全防护，但它会发现并记录违反安全策略的人及记录其对应的行为。审计能够记录的日志内容：日期与事件、事件结果触发事件的用户所有认证机制的使用都可以被记录，如ssh等对关键数据文件修改行为等。审计的案例监控文件的访问监控系统的调用记录用户运行的命令监控网络行为配置audit审计系统1）安装软件包，查看配置文件（确定审计日志的位置

2020-11-16 08:01:34 237

原创 hydd的Linux笔记Day50

Day50加密和解密概述加密:发送方：明文->密文解密:接收方：密文->明文加密的目的及方式1.确保数据的机密性对称加密：加密/解密用同一个密钥非对称加密：加密/解密用不同的密钥（公钥、私钥）2.保护信息的完整性信息摘要：基于输入的信息生成长度较短、位数固定的散列值常见的加密算法 1.对称加密 DES，AES 2.非对称加密 RSA，DSA 3.Hash散列技术，用于信息摘要 MD5，SHA 1.根据输入的文本（长度不限）生成

2020-11-13 16:40:48 507

原创 hydd的Linux笔记Day49

Day49Linux基本防护用户账号安全设置账号有效期使用chage工具 -d 0，强制修改密码 -E yyyy-mm-dd，指定失效日期（-1取消） chage **-**l 账户名称 #查看账户信息账号的锁定/解锁使用passwd命令 -l锁定、-u解锁、-S看状态强制定期修改密码配置文件/etc/login.defs：对新建的用户有效主要控制属性：PASS_MAX_DAYS #密码最长有效期PASS_MIN_

2020-11-13 08:09:10 238

原创 hydd的Linux笔记Day48

Day48Zabbix报警机制基本概念自定义的监控项默认不会自动报警首页也不会提示错误，需要配置触发器与报警动作才可以自动报警触发器表达式，如内存不足300M，用户超过30个等当触发条件发生后，会导致一个触发事件。触发事件会执行某个动作动作触发器的条件被触发后的行为可以是发送邮件也可以是重启某个服务等案例创建触发器规则1）创建触发器创建触发器时强烈建议使用英文的语言环境，通过Configuration（配置）–> Templates（模板

2020-11-12 08:10:21 217

原创 hydd的Linux笔记Day47

Day47监控概述监控的目的 1.报告系统运行的情况每一部分必须要同时监控内容包括吞吐量、反应时间、使用率等 2.提前发现问题进行服务器的性能调整前，知道调整什么找出系统的瓶颈在什么地方监控的资源类别 1.公开数据 web、ftp，ssh、数据库等应用服务 TCP或者UDP端口 2.私有数据 CPU，内存，磁盘、网卡流量等使用信息用户、进程等运行资源监控软件系统监控命令 ps ifconfig

2020-11-11 09:12:11 146

原创 hydd的Linux笔记Day46

Day46部署Git版本控制系统环境配置与拓扑图部署Git版本控制系统，管理网站代码，实现如下效果：基于SSH协议的服务器基于Git协议的服务器基于HTTP协议的服务器上传代码到版本仓库部署SSH协议的版本控制服务器1）安装软件包，创建空仓库。[root@database ~]# yum -y install git[root@database ~]# mkdir /var/lib/git/[root@database ~]# git init --bare /var/lib

2020-11-10 19:32:35 218

原创 hydd的Linux笔记Day45

Day45Keepalived高可用环境准备及拓扑部署两台代理服务器，实现如下效果：利用keepalived实现两台代理服务器的高可用配置VIP为192.168.4.80修改对应的域名解析记录配置第二台代理服务器1）部署HAProxy安装软件，手动修改配置文件，添加如下内容。[root@proxy2 ~]# yum -y install haproxy [root@proxy2 ~]# vim /etc/haproxy/haproxy.cfglisten wordpress

2020-11-10 08:02:32 254

原创 hydd的Linux笔记Day44

Day44网站架构演变单机版LNMP单机版网站，拓扑如图特点：用户量少时使用简单、成本低存在单点故障。独立数据库服务器独立数据库服务器是将网站静态文件、代码文件等资料与数据库分离的架构，当用户增加时单机处理能力有限，PHP和JAVA文件需要调用大量的内存资源，将两者分离可以减轻服务器的压力，拓扑如图所示。Web服务器和数据库服务器的压力都可以得到有效改善，访问量有所增加。服务器依然存在单点故障。web服务器集群与Session保持我们可以通过Nginx，Haproxy代理服务器实现we

2020-11-09 08:15:24 503

原创 hydd的LInux笔记Day43

Day43服务器硬件硬件产品介绍常见服务器品牌IBM服务器IBM机架式服务器X3250M6（1U），如图所示。产品配置如下：1路CPU，英特尔至强处理器4个DIMM内存插槽，最大64G内存4个3.5寸磁盘位，默认无硬盘，最大可配24TB支持RAID 0，1，5一个300W固定电源Dell服务器 Dell入门级塔式服务器PowerEdge T340，如图所示，该服务器的目标应用是文件/打印，协作/共享，邮件/讯息，备份/恢复，视频监控等产品配置如下：4核和6核英特尔

2020-11-05 08:04:05 513

原创 hydd的Linux笔记Day42

Day42块存储应用案例本次沿用Day41天的环境准备和实验结果创建快照镜像查看镜像快照（默认所有镜像都没有快照）。 [root@node1 ~]# rbd snap ls jacob #查看某个镜像有没有快照，jacob是镜像的名称，ls是list查看给镜像创建快照。[root@node1 ~]# rbd snap create jacob --snap jacob-snap1#为jacob镜像创建快照，--snap指定快照名称，快照名称为jacob-snap1，快照名称可以任

2020-11-04 08:28:22 143

原创 hydd的Linux笔记Day41

Day41CephCeph概述什么是分布式存储分布式是指一种独特的系统架构，它由一组网络进行通信为了完成共同的任务而协调工作的计算机节点组成分布式系统是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务其目的就是利用更多的机器，处理更多数据常用分布式文件系统 Lustre Hadoop FastDFS Ceph Ceph ClusterFS什么是Ceph Ceph是一个分布式文件系统具有高扩展性、高可用性、高性能的特点 Ceph

2020-11-03 08:14:48 211

原创 hydd的Linux笔记Day40

Day40ARP广播的问题当客户端发起访问VIP对应的域名请求时，根据网络通信原理会产生ARP广播因为负载均衡器和真实服务器在同一网络并且VIP设置在集群中的每个节点上此时集群内的真实服务器会尝试回答来自客户端的ARP广播，这就会产生问题，大家都说我是VIP内核参数说明 arp_ignore(定义回复ARP广播的方式) 0（默认值）回应所有本地地址ARP广播，本地地址可以配置在任意网络接口上 1 回应配置在入站网卡接口上的任意IP地址的ARP广播 arp

2020-11-02 10:33:26 386 1

空空如也

空空如也