运维
文章平均质量分 68
运维仙人
目前在做大数据运维,会点python/java/go,不定时分享所见,所学,所踩的坑~
展开
-
【转载学习】Ceph新长支持稳定版本Luminous(12.x.x)新功能总结
通用功能:目前,Ceph拥有一个操作简单,基于Web的内置仪表板,用于监控群集状态。(Ceph Dashboard具体可以参阅Ceph官网中文文档:Ceph luminous 新功能之内置dashboard)RADOS:● BlueStore:ceph-osd的新后端存储BlueStore已经稳定,是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而不使用诸如XFS的中间文件系统,来管理每个OSD存储的数据,这提供了更大的性能和功能。BlueStore支持Ceph存储转载 2021-04-25 10:33:55 · 405 阅读 · 0 评论 -
starrocks集群fe/be节点进程守护脚本
自建starrocks集群,有时候服务会挂掉,无法自动拉起服务,于是采用supervisor进行进程守护。可能是版本的原因,supervisor程序总是异常,无法对fe//be进行守护。于是写了个简易脚本。原创 2023-12-27 23:58:51 · 737 阅读 · 0 评论 -
go编写的netflow _exporter,本地测试代码
【代码】go编写的netflow _exporter,本地测试代码。原创 2023-12-26 00:03:11 · 468 阅读 · 0 评论 -
CreateProcess error=216, 该版本的 %1 与你运行的 Windows 版本不兼容。请查看计算机的系统信息,然后联系软件发布者。
Error running ‘go build hello.go’: Cannot run program “C:\Users\Administrator\AppData\Local\Temp___go_build_hello_go.exe” (in directory “G:\go\workspace”): CreateProcess error=216, 该版本的 %1 与你运行的 Windows 版本不兼容。解决方法:package workspace 改成package main。原创 2023-12-24 13:05:45 · 1487 阅读 · 0 评论 -
Ansible自带化运维工具术语大全
下面是一系列的 Ansible 文档中的术语。在主界面查看文档,了解这些术语的上下文环境,不过这里是一个好的资源测试你对 Ansible 组件的了解和更好的理解他们是如何组合起来的。你可能在想回顾 Ansible 知识的时候看看这里,在邮件中出现一些术语的时候参考一下这个文档。转载 2023-03-09 11:20:18 · 221 阅读 · 0 评论 -
ansible-playbook编写和使用
tasks:默认使用yum安装ansible的配置文件时在 /etc/ansible目录下,可以使用该目录下新建host_vars和group_vars目录来针对主机和主机组定义变量。若是用其他方式安装ansible,只需要在playbook文件当前目录下新建这两个目录。原创 2023-03-09 11:13:50 · 1836 阅读 · 0 评论 -
【Linux】服务器网络安装和无人值守安装操作系统
1、安装依赖包yum install dhcp* tftp-server syslinux* ftp kickstart xinetd -y2、配置dhcp文件DHCP Server Configuration file.see /usr/share/doc/dhcp*/dhcpd.conf.samplesee ‘man 5 dhcpd.conf’subnet 192.168.79.0 netmask 255.255.255.0 # //定义dhcp服务分配网段{range原创 2021-07-11 16:02:41 · 666 阅读 · 2 评论 -
Python操作redis用法详解
1、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用。如果需要另一个Redis实例(or Redis数据库)时,就需要重新创建redis连接实例来获取一个新的连接。同理,python的redis没有实现select命令。.转载 2021-06-19 22:48:56 · 1972 阅读 · 1 评论 -
不能错过的MYSQL上手总结
前言:工作过程经常接触到MYSQL数据库,经过了大量实践之后,通过理论来夯实一下知识体系。一、MySQL是什么?Mysql是一种关系型数据库。总的来说 MySQL 主要有以下特性。(1)速度,运行速度快(2)价格,MySQL 对多数个人用户来说是免费的(3)容易使用,与其他大型数据库的设置和管理相比,其复杂程度较低,易于学习(4)可移植性,能够工作在众多不同的系统平台上 例如 Windows Linux, UNIX Mac OS(5)丰富的接口,提供了用于 ++、 iffel Java .原创 2021-06-13 00:39:54 · 1160 阅读 · 3 评论 -
5分钟认识数据库
什么是数据库?数据库是由一批数据构成的有序集合,这些数据被存放在结构化的数据表里。数据表之间相互关联, 反映了客观事物间的本质联系。数据库系统提供对数据的安全控制和完整性控制。数据库的概念诞生于 60 年前,随着信息技术和市场的快速发展 数据库技术层出不穷,随着应用的拓展和深入,数据库的数量和规模越来越大,其诞生和发展给计算机信息管理带来一场巨大的革命。数据库的发展大致划分为人工管理阶段、文件系统阶段 数据库系统阶段和高级数据库阶段。其种类大概有3种,即层次式数据库、网络式数据库和关系式数据库。不.原创 2021-06-13 00:14:17 · 511 阅读 · 2 评论 -
Zabbix监控很难?看完这篇文章可以轻松上手zabbix自定义监控
场景介绍公司内网要调用手机厂商的消息推送网关(小米/华为/苹果等),但是有时候会因防火墙策略整改或是其他原因导致网络不通,影响移动终端的消息推送,进而影响用户体验。为了能够让运维人员能够第一时间发现问题,及时进行故障的排查和恢复,所以用zabbix监控网络策略。网络拓扑展示下比较业余的网络拓扑:制作监控过程修改angent配置文件[root@slave79101 zabbix_agentd.conf.d]# cat monitor_remote_port_tracer.conf User原创 2021-06-06 21:46:47 · 1464 阅读 · 6 评论 -
ceph的功能组件和架构概述
1、ceph是什么?ceph是可靠的、可扩展的、统一的,分布式的存储系统。ceph是存储系统 ,底层是用C++语言开发的。2、ceph提供什么?ceph可以提供对象存储RADOSGW(Reliable、Autonomic、Distributed、Object Storage Gatway)、块存储RBD(Rados Block Device)、文件系统存储Ceph FS(Ceph FileSystem)三种功能。场景:对象存储可以用于对接网盘的应用业务等;块存储可对接(IaaS),当前主流原创 2021-05-09 23:49:47 · 2059 阅读 · 0 评论 -
zabbix安装时php.ini配置文件修改失败的问题
zabbix安装之后修改php配置文件,不生效。解决过程:找到配置文件的路径,下面查找结果显示配置文件为空。[root@slave79103 html]# /usr/local/php/bin/php --iniConfiguration File (php.ini) Path: /usr/local/php/libLoaded Configuration File: (none)Scan for additional .ini files in: (none)Additi原创 2021-05-03 13:22:08 · 1145 阅读 · 0 评论 -
Linux系统性能的四个指标:CPU、内存、磁盘、网络
Linux系统调优时需要用到一些工具来查看和分析CPU/内存/磁盘/网络的情况,先根据四个方面对接的工具进行介绍。一、CPU性能调优工具1. vmstat命令vmstat(virtual memory statistics 虚拟内存统计)的缩写。使用语法:vmstat [-V] [-n] [delay [count]][root@master79100 ~]# vmstat 3 5procs -----------memory---------- ---swap-- -----io----原创 2021-05-02 19:32:31 · 1223 阅读 · 0 评论 -
ceph集群维护记录
application not enabled on 2 pool(s)解决方法:[root@master-local believer]# ceph -s cluster: id: 3b6d2da2-1d65-45bc-a04f-8872dedd7059 health: HEALTH_WARN BlueFS spillover detected on 24 OSD(s) application not enabled on 2原创 2021-04-25 16:07:26 · 1623 阅读 · 0 评论 -
智能化运维学习笔记【2】
第四章、分布式消息队列第五章、大数据存储技术第六章、大规模数据离线计算分析第七章、实时计算框架第八章、时序数据分析框架第九章、机器学习框架第十章、数据聚合和关联技术第十一章、数据0异常点检测技术第十二章、故障诊断和分析策略第十三章、趋势预测算法第十四章、快速构建日志监控系统第十五章、微博广告智能监控系统第十六章、微博平台通用监控系统...原创 2021-04-19 21:21:19 · 1258 阅读 · 2 评论 -
智能化运维笔记【1】
第一章、运维现状1.1 运维的职业和发展方向运维工程师( peration Engineer ),是指从事运维工作的工程师。运维工程师的工作范围非常广泛,包括服务器购买 租用和上架等基本管理,调整网络设备的配置管理和部署,服务器操作系统安装调试,测试环境和生产环境的初始化与维护,代码部署和管理( Git SVN 等),设计和部署线上服务的监控与报警,服务安全性检测(防止漏洞和攻击〉,数据库管理和调试等。在大型公司中,运维工程师根据工作内容被细分为网站运维、系统运维、网络运维、数据库运维( DBA IT原创 2021-04-17 00:38:53 · 2381 阅读 · 6 评论 -
Prometheus常见专业词汇
Alert(警告)警告是Prometheus服务正在激活警报规则的结果。警报将数据从Prometheus服务发送到警告管理器 (Alertmanager)警告管理器警告管理器接收警告,并把它们聚合成组、去重复数据、应用静默和节流,然后发送通知到邮件、Pageduty或者 Slack等系统中(Bridge)网桥网桥是一个从客户端库提取样本,然后将其暴露给非Prometheus监控系统的组件。例如:Python客户端可以将 度量指标数据导出到Graphite。(Client library)客户库原创 2021-04-16 21:10:56 · 168 阅读 · 0 评论 -
part划分大磁盘
创建操作大于2T的分区一般情况下,我们都是选择使用fdisk工具来进行分区,但是目前在实际生产环境中使用的磁盘空间越来越大,呈TiB级别增长;而常用的fdisk这个工具对分区是有大小限制的,它只能划分小于2T的磁盘,所以在划大于2T磁盘分区的时候fdisk就无法满足要求了;这个时候有2个方法,其一是通过卷管理来实现,其二就是通过parted工具来实现对GPT磁盘进行分区操作;这里我们采用parted的方法来实现管理。下列展示对40T的磁盘进行分区的过程:[root@test100 ~]# fdisk原创 2021-03-06 13:59:16 · 1419 阅读 · 0 评论 -
用centos7.6arm版本的镜像搭建局域网yum服务(ftp)
步骤1、挂载镜像和安装vsftpd服务步骤2、将挂载镜像的目录里面的文件拷贝到新的目录下,并且卸载挂载目录步骤3、修改配置文件,测试若执行yum makecache报ftp的550错误,则可能是目录配置错误,需要修改配置文件:/etc/yum.repos.d/CentOS-arm7.6.repoftp://192.168.1.100/centos7u6/repodata/repomd.xml: [Errno 14] FTP Error 550 - Server denied you to ch原创 2021-03-05 14:47:12 · 1254 阅读 · 0 评论 -
prometheus介绍
什么是prometheus?Prometheus是一个开源监控系统,它前身是SoundCloud的警告工具包。特征:Prometheus的主要特征有:多维度数据模型灵活的查询语言不依赖分布式存储,单个服务器节点是自主的以HTTP方式,通过pull模型拉去时间序列数据也通过中间网关支持push模型通过服务发现或者静态配置,来发现目标服务对象支持多种多样的图表和界面展示,grafana也支持它组件:Prometheus生态包括了很多组件,它们中的一些是可选的:主服务Prometh原创 2021-03-04 00:07:58 · 1225 阅读 · 2 评论 -
大数据-HDFS原理
什么是HDFS?HDFS(Hadoop Distribution File System)是基于谷歌发布的GFS论文设计的;出了具有其他文件系统具有的特性之后,hdfs还具有:高容错性:认为硬件总是不可靠的高吞吐量:为大量数据访问的应用提供高吞吐量的支持大文件存储:支持存储TB或PB级的数据HDFS作为Hadoop的基础存储设施,实现一个高容错,分布式,可线性扩展的文件系统HDFS基础系统架构hdfs架构包含三个部分:NameNode:用于存储、生成文件系统的元数据。运行一个实原创 2021-01-20 22:55:37 · 461 阅读 · 0 评论 -
大数据概述
3V体量巨大类型繁多处理速度快5V价值密度低真实准确维基百科:大数据指通过常用软件捕获,管理和处理数据所耗费时间超过可容忍时间的数据集。原创 2020-12-30 08:29:56 · 337 阅读 · 0 评论 -
Hadoop学习开篇总结
最近学习了大数据基础基础知识,并且制作了思维导图:原创 2020-12-30 07:24:05 · 84 阅读 · 0 评论 -
NGINX跨域访问案例
NGINX一键安装包背景:公司内网的服务需要映射到互联网上,但是多个Tomcat存在关联关系,所以要增加第三方模块:ngx_more_set_headers 和 ngx_http_substitutions_filter_module 模块,实现URL的替换,进而实现跨越防火墙的代理。拓扑图配置文件[root@docker-slave-79101 example]# pwd/usr/local/nginx/conf/example[root@docker-slave-79101 example原创 2020-10-20 16:58:10 · 268 阅读 · 0 评论 -
Docker实战之镜像和容器操作
基于上次打包grafana服务,在服务的基础上部署postgres、redis、nginx三个服务,在每增加一个服务时将容器重新打包成镜像。充分体现了docker的优点:1、跨平台可移植性,按统一标准打包;2、面向应用,优化部署应用;3、版本控制;4、组件复用,组件式搭建;5、共享性,公共的注册服务器。下面展示操作过程:1、将镜像到处迁移到其他机器上运行导出镜像:导入镜像:运行容器:[root@docker-slave-79101 ~]# docker run -d -p 3000:300原创 2020-09-26 11:55:31 · 163 阅读 · 0 评论 -
【记录】Centos7.4环境下一键安装Redis-5.0.5
背景:为了测试最新的Redis,于是尝试安装了Redis服务,并且制作了一键暗转脚本:原创 2020-08-03 23:18:30 · 232 阅读 · 0 评论