- 博客(88)
- 收藏
- 关注
RSS订阅原创 Kafka部署
一、环境准备Kafka集群环境搭建，需要准备好一个zookeeper环境（集群），zookeeper需要java环境tar xf /java_v1.8.0-201_zhuizhi_20200423 /usr/local/java.tar.gz ln -s /data/java/java_v1.8.0-201_zhuizhi_20200423 /usr/local/javacat /etc/profile.d/environment.sh #Javaexport JAVA_HOME=/usr/
2022-03-15 18:07:44
4283
原创 MongoDB配置副本集
前提3台节点都安装好mongo集群：1台primary1台secondary1台ARBITER(做监控的，实际没有数据)配置步骤生成keyFile，主节点操作openssl rand -base64 745 > /data/mongo/keyfilechmod 400 /data/mongo/keyfile chown -R mongod:mongod /data/mongo/keyfile 把这个keyfile同步到其他两个节点的 ~/mongodb/keyfile/ 文
2022-01-24 17:07:37
4455
原创 ELK加密（ES6.4.2配置x-pack）
跳步骤配置完步骤3可以直接使用这里的jar包和json文件完成；直接步骤5。es 6.4.2 的jar包 x-pack-core-6.4.2.jar（博客不知道怎么上传包）关闭es服务systemctl stop elasticsearch.service备份默认的es的jar包cd /data/elasticsearch/modules/x-pack-coremv x-pack-core-6.4.2.jar x-pack-core-6.4.2.jar-old#替换新jar包mv x-
2022-01-24 15:42:15
4184
原创 Grafana安装部署
Grafana安装部署系统: CentOS 7r安装获取官方rpm包并安装rpm包wget https://dl.grafana.com/oss/release/grafana-6.3.5-1.x86_64.rpmrpm -Uvh grafana-6.3.5-1.x86_64.rpm或者 直接获取并安装rmp包yum install -y https://dl.grafana.com/oss/release/grafana-6.3.5-1.x86_64.rpm安装grafanayum l
2021-12-14 14:10:57
4007
原创 Chrome 您的连接不是私密连接
您的连接不是私密连接攻击者可能会试图从 x.x.x.x 窃取您的信息（例如：密码、通讯内容或信用卡信息）。了解详情NET::ERR_CERT_INVALID将您访问的部分网页的网址、有限的系统信息以及部分网页内容发送给 Google，以帮助我们提升 Chrome 的安全性。隐私权政策x.x.x.x 通常会使用加密技术来保护您的信息。Google Chrome 此次尝试连接到 x.x.x.x 时，此网站发回了异常的错误凭据。这可能是因为有攻击者在试图冒充 x.x.x.x，或 Wi-Fi 登录屏幕中断了
2021-12-06 15:56:16
9092
1
原创 vscode同时编辑多处
重命名变量1、首先看看自己需要同时修改多处的代码是不是要重命名一个变量，如果是的话，有现成的快捷键f2。选中一个变量，按f2，弹出一个小窗口，在里面输入内容后按回车，所有该变量都会被重命名。2、但是要注意，在js文件中，如果这个变量没有用var或者const或者let声明，会无法重命名。多光标1、按住alt，用鼠标左键点击，可以出现多个光标，输入的代码可以在光标处同时增加。2、按住Ctrl + Alt，再按键盘上向上或者向下的键，可以使一列上出现多个光标。3、选中一段文字，按shift+alt+
2021-12-03 18:15:34
390
原创 Python学习笔记：with open() as f 用法
常见的读写操作：with open(r'filename.txt') as f: data_user=pd.read_csv(f) #文件的读操作with open('data.txt', 'w') as f: f.write('hello world') #文件的写操作相关参数：r: 以只读方式打开文件。文件的指针将会放在文件的开头。这是**默认模式**。rb: 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。r+: 打开一个文件用于读写。
2021-11-26 15:57:35
1278
原创 python3-print(f“***“) 这里的f是什么意思
python3的 print 字符串前面加 f 表示格式化字符串，formatting，加 f 后可以在字符串里面使用大括号{ }括起来的变量和表达式，如果字符串里面没有变量或者表达式，那么前面加不加 f 输出应该都一样。Python3.6 新增了一种 f-字符串格式化格式化的字符串文字前缀为’f’和接受的格式字符串相似str.format()。它们包含由大括号{ }包围的替换区域。替换字段是表达式，在运行时进行评估，然后使用format()协议进行格式化。formatted string liter
2021-11-26 15:22:42
1849
原创 logrotate 日志分割-nginx
默认配置文件是/etc/logrotate.cof ，一般针对不同服务配置在/etc/logrotate.d/下，执行会读取。默认是每天执行，配置文件/etc/cron.daily/logrotate/var/log/nginx/*.log {# 日志文件轮转周期，可用值为: daily/weekly/yearlydaily# 当日志文件大于指定大小时，才继续执行，单位为bytes（默认）/k/M/Gminsize 20M# 新日志文件的权限create 0664 nginx nginx#
2021-08-10 16:24:34
237
原创 beeline：No current connection
beeline 本身其实是不连接hive的，需要额外的配置。首次进入貌似需要密码beeline -u jdbc:hive2://localhost:10000/default -nhive -pxxx进入后即可授权create role admin;grant all on server server1 to role admin;#给hive用户组全库all权限grant role admin to group hive;grant role admin to group hdfs;
2021-06-30 17:54:05
3841
原创 hue与sentry的授权
cdh配置https://www.cnblogs.com/hongfeng2019/p/11558158.html可以去这个网站看这几篇文章，便于理解，但有些是错误和我们用不到的。在cdh添加sentry服务（我这里装好了直接添加即可，想了解建库授权可以去看上面的博客）我这用不到网关，选择哪个主机看你选择，一般选择第一台需要注意的是这里得数据库名称都是sentry相关，用户是sentry不是root，密码也是sentry的密码按步骤往下即可。配置HDFS开启ACLs与sentry权限同
2021-06-30 15:28:00
476
原创 SSH传输文件：IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!
问题解决删除.ssh目录下的known_hosts文件即可rm -rf ~/.ssh/known_hosts
2021-03-29 17:17:20
152
原创 /var/run/yum.pid 已被锁定，PID 为 57398 的另一个程序正在运行
问题解决rm -f /var/run/yum.pid 再次运行yum即可
2021-03-22 15:09:15
144
原创 docker-TLS加密通讯
docker-TLS加密通讯概述安装基本设置创建证书修改docker配置文件将证书复制到客户端上客户端查看在服务器查看概述为了防止链路劫持、会话劫持等问题导致 Docker 通信时被中间人攻击，c/s 两端应该通过加密方式通讯。安装基本设置hostnamectl set-hostname mastersuvim /etc/hosts #添加127.0.0.1 mastercd /mkdir tlscd tlsping master创建证书openssl genrsa -aes
2021-03-21 19:28:51
297
原创 docker-安全管理
docker-安全管理及TLS加密通讯安全管理Docker 容器与虚拟机的区别Docker源码问题Docker架构缺陷与安全机制Docker安全基线标准容器访问控制Docker remote api 访问控制客户端远程查看限制流量流向镜像安全TLS加密通讯基本设置创建证书修改docker配置文件将证书复制到客户端上客户端查看在服务器查看安全管理Docker 容器与虚拟机的区别隔离与共享虚拟机通过添加Hypervisor（虚拟机监视器：用于虚拟化硬件）层，虚拟出网卡、内存、CPU等虚拟硬件，再在其上建
2021-03-21 19:23:17
197
原创 docker-compose搭建consul集群
docker-compose搭建consul集群compose概述文件格式（YAML）配置常用字段常用命令部署安装compose使用dockerfile创建nginx创建模板脚本consul概述组件原理部署环境部署consul查看集群通过httpd api获取集群容器服务自动加入consul集群验证服务是否注册到consul安装consul-template简介准备template nginx模板编译安装nginx配置启动template查看生成配置文件验证compose概述Docker Compos
2021-03-21 13:17:31
541
原创 docker-配置tls时重启docker失败
问题可发现，是路径问题解决ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/root/tls/ca.pem --tlscert=/root/tls/server-cert.pem --tlskey=/root/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.so再重启systemctl daemon-reloadsystemctl restart dock
2021-03-20 22:57:19
552
1
原创 Docker-数据卷及网络通信
Docker-数据卷及容器互联简介Docker数据卷（宿主机与容器之间实现数据共享）概述部署数据卷容器（容器与容器之间实现数据共享）概述部署网络通信端口映射容器互联简介方便查看容器内产生的数据多容器间实现数据共享例如：需要给多个容器中的网站站点上传网页内容时，可以高效的部署网页Docker数据卷（宿主机与容器之间实现数据共享）概述数据卷：数据卷就是在宿主中可以在容器之间进行共享和重用的一系列和文件和文件夹，通过docker run -v命令可以将数据卷挂载到对应的容器目录空间，进行文件读取，容
2021-03-17 10:45:11
121
原创 Docker-私有仓库
Docker-私有仓库registry 和 harbor 的区别创建私有仓库下载，创建镜像运行容器查看仓库内容更改标记上传测试下载registry 和 harbor 的区别registry：字符界面harbor： 自己的web页面创建私有仓库下载，创建镜像docker pull registryvi /etc/docker/daemon.json添加"insecure-registries": ["20.0.0.14:5000"], #镜像加速systemctl restart dock
2021-03-17 09:18:52
200
原创 Dockerfile构建镜像
Docker-构建镜像Docker镜像简介镜像分层操作指令构建方式文件结构Dockerfile操作实例Docker镜像简介是应用分布的标准格式；可支撑一个 Docker 容器的运行。镜像分层Dockerfile中的每个指令都会创建一个新的（临时）镜像层镜像层将被缓存和复用当Dockerfile的指令修改了，复制的文件变化了，或者构建镜像时指定的变量不同了，对应的镜像层缓存就会失效某一层的镜像缓存失效之后，它之后的镜像层缓存都会失效镜像层是不可变的，如果在某一层中添加一个文件，然后在下一层中
2021-03-16 13:24:29
150
原创 docker限制容器使用的CPU报错：Error response from daemon: Requested CPUs are not available - requested 1,3
现象docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bashdocker: Error response from daemon: Requested CPUs are not available - requested 1,3, available: 0-1.意思就是请求的cpu不够用，那我们就给它加上去就行解决添加cpu核心，4个内核即可。...
2021-03-12 14:57:13
993
原创 Docker-网络模式和资源控制
Docker-网络模式和资源控制网络模式原理网络模式原理Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无
2021-03-12 14:54:53
417
原创 安装Docker-CE时报错，Requires: container-selinux ＞= 2:2.74
报错现象根据报错信息可以看出是container-selinux版本低或是没安装的原因，导致系统的不兼容，所以我们需要升级重新安装解决方法wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum install epel-release -yyum install container-selinux -y #安装最新的contain-selinux再安装docker
2021-03-11 11:23:55
2360
2
原创 Docker-基本管理命令
Docker-基本管理命令概述简介区别使用场景概述简介Docker 是一个开源的应用容器引擎，可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口,更重要的是容器性能开销极低。（沙箱是一个虚拟系统程序，沙箱提供的环境相对于每一个运行的程序都是独立的，而且不会对现有的系统产生影响，即沙箱提供一个限制该应用程序对系统资源的访问权限）。容器不依赖于系统，依赖于引擎。容器是一个应用层抽象；虚
2021-03-11 11:03:45
236
原创 openstack登陆dashboard失败身份验证令牌已经过期
身份验证令牌已经过期解决方法此处问题是虚拟机时间不同步的问题，重启chronyd。控制节点：systemctl restart chronyd其余节点：systemctl stop chronyd，再启动，即可解决问题
2021-03-06 19:48:59
1313
原创 Openstack“T版“全组件手动部署
Openstack"T版"全组件手动部署部署Keystone创建数据库实例和数据库用户安装、配置keystone、数据库、Apache初始化认证服务数据库配置bootstrap身份认证服务配置Apache配置管理员账户的环境变量创建OpenStack 域、项目、用户和角色部署Glance创建数据库实例和数据库用户创建用户、修改配置文件数据库及服务的配置部署Placement创建数据库实例和数据库用户创建服务用户和API的endpoint修改 placement配置文件导入数据库修改Apache配置部署nov
2021-03-06 19:23:26
508
1
原创 OpenStack--Keystone介绍
OpenStack--KeystoneKeystone概述主要功能基本概念访问流程部署Keystone创建数据库实例和数据库用户安装、配置keystone、数据库、Apache初始化认证服务数据库配置bootstrap身份认证服务配置Apache配置管理员账户的环境变量创建OpenStack 域、项目、用户和角色Keystone概述Keystone(OpenStack Identity Service)是 OpenStack 框架中负责管理身份验证、服务规则和服务令牌功能的模块。用户访问资源需要验证用
2021-01-28 22:35:32
277
原创 RabbitMQ创建消息队列用户错误
问题在配置openstack的基础环境时，安装完RabbitMQ，创建消息队列用户时，不可以创建rabbitmqctl add_user openstack RABBIT_PASS解决这可能由于某些原因在安装服务时没有正确配置注册项，可以重新安装服务我又去百度了下，可以将进程杀死，在开启ps -ef | grep rabbitmq #查询进程号ps -ef | grep rabbitmq | grep -v grep | awk '{print $2}' | xargs kil
2021-01-28 21:49:35
841
原创 openstack“T版“基础环境部署
openstack基础环境部署部署环境思路基础设置步骤关闭防火墙免交互基础环境依赖包时间同步安装MariaDB安装RabbitMQ安装memcached安装etcd部署环境控制节点ctCPU：双核双线程-CPU虚拟化开启内存：8G 硬盘：30G+300G（CEPH块存储）双网卡：VM1-（局域网）192.168.66.11 NAT-20.0.0.11操作系统：Centos 7.6（1810）-最小化安装2、计算节点c1CPU：双核双线程-CPU虚拟化开启内存：8G 硬盘：30G+300
2021-01-27 22:37:17
351
原创 openstack及其核心组件
openstack及其核心组件云计算概述基本特征发布模型服务类型IAAS（基础架构即服务）PAAS（平台即服务）openStack概述优势核心组件概念架构逻辑架构通信关系了解openstack之前我们要先了解云计算这个概念云计算概述云计算管理的是网络资源、存储资源、服务器资源等物理硬件资源。可以使客户在任何时间任何地点，通过网络，获取所需要的资源或服务，并且按需分配，按用量进行收费。基本特征按需自助服务视客户需要，可以从每个服务提供商那里单方面地向客户提供计算能力，譬如，服务器时间和网络存储，
2021-01-27 01:27:35
3491
2
原创 zabbix监控
zabbix监控zabbix概述特性三级目录zabbix概述Zabbix是由Alexei Vladishev创建，目前由Zabbix SIA在持续开发和支持Zabbix是一个企业级的分布式开源监控方案Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。这些功能使得Zabbix成为容量规划的理想方案Zabbix支持
2021-01-19 17:30:22
525
原创 Ansible-playbook剧本
Ansible-playbook剧本playbook概述三要素组成结构hosts和users差别YAML概述基本语法规则支持的数据结构示例连通性脚本指定远程用户切换用户执行任务tasks列表和action针对不同的节点用户分别进行执行对应不同的任务变量配置Handlers 简介在剧本中定义变量通过ansible命令传递固定变量 (系统变量)在hosts配置文件中定义条件判断单条件判断多条件判断组条件判断迭代Templates模板概述通过模板配置节点设备设置tags模块单标签任务多标签任务alwaysrole
2021-01-17 23:48:01
797
原创 运维：三种部署方式
三种部署方式蓝绿发布（Blue/Green Deployment）概述过程注意事项特点适用场景灰度发布概述过程特点滚动发布（Rolling Update Deployment）概述过程特点蓝绿发布（Blue/Green Deployment）概述蓝绿部署是不停老版本，部署新版本然后进行测试。确认OK后将流量切到新版本，然后老版本同时也升级到新版本。蓝绿部署无需停机，并且风险较小。过程部署版本 1 的应用（初始的状态）所有外部请求的流量都打到这个版本上。部署版本 2 的应用版本 2 的代码与版
2021-01-15 16:29:24
2536
原创 ansible自动化运维-含详细模块介绍
ansible自动化运维-含详细模块介绍Ansible简介概述工作模式工作原理部署环境步骤命令行模块命令工具常用模块功能ping模块command模块cron模块user模块group 模块copy 模块file 模块yum 模块service 模块shell模块script模块setup模块主机清单配置Inventory（库存）中变量主机变量组变量组嵌套inventory变量参数Ansible简介概述ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、ch
2021-01-14 14:51:10
445
原创 KVM虚拟化
KVM虚拟化虚拟化技术概述发展类型全虚拟化半虚拟化直通补充特性优势劣势对比虚拟化前虚拟化后操作系统方面(虚拟化前)KVM简介架构工作原理部署优化安装KVM虚拟化技术概述是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互相不影响，从而显著提高计算机的工作效率。虚拟化使用软件的方法重新定义划分 IT 资源，可以实现 IT 资源的动态分配、灵活调度、跨域共享，提高 IT 资源利用率，使
2021-01-11 13:06:22
689
原创 因为蓝屏出现的C盘内存变少问题
因为蓝屏出现的C盘内存变少问题出现问题解决方法出现问题博主是因为linux分配内核和内存变大，快照太快导致蓝屏，然后我就发现C盘的剩余内存从90变成60多了。解决方法电脑的高级系统设置系统失败的2个勾去掉，写入调试信息改成无即可，再重启，内存就回来了。...
2021-01-08 16:59:51
2279
3
原创 GlusterFS原理及配置
GlusterFS原理及配置GlusterFS简介概述特点相关术语模块化堆栈式架构GlusterFS工作原理弹性hash算法工作流程GlusterFS的卷类型分布式卷条带卷复制卷分布式条带卷分布式复制卷GlusterFS简介概述Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.在传统的解决 方案中Glusterfs能够灵活的结合物理的,虚拟的和云资源去体现高可用和企业级的性能存储Glusterfs通过TCP/IP或InfiniBand RDMA网络链接将
2021-01-08 13:27:59
838
原创 ELK日志分析系统
ELK日志分析系统概述组成步骤三款软件Elasticsearch概述核心概念Logstash概述主要组件Kibana介绍概述主要功能ELK日志分析系统部署环境步骤概述ELK日志分析系统是Logstash、Elasticsearch、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。组成elasticsearch（es）：通过搭建群集；存储日志数据，索引日志数据logstash ：收集日志，收集到了后给es存储kibana
2021-01-06 20:13:22
495
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人