- 博客(49)
- 收藏
- 关注
RSS订阅原创 Linux内存相关名词介绍
在日常的问题排查过程中，Linux内存相关的问题也非常多，OOM、内存泄漏 都是比较头疼的而且非常常见一些问题。如下图，我们都知道Linux 内存将内存做了以下划分(如: Node、Zone、Page)，这里我们先简单看一些内存相关的名词解释。
2024-04-30 11:31:19
430
原创 DEVOPS:邮件和JSON，requests模块，zabbix编程
文章目录邮件和JSON邮件编程SMTP概述SMTP对象设置邮件sendmail方法本地发邮件示例SMTP认证JSONJSON概述JSON结构dumps方法loads方法requests模块requests基础requests简介requests特性GET和POST其他方法请求参数设定头部发送请求数据rquests应用示例天气查询钉钉机器人示例zabbix编程zabbix api简介zabbix a...
2020-02-22 22:04:59
1099
原创 DEVOPS：多线程、多进城编程，urllib模块，paramiko模块
文章目录多进程编程forking工作原理什么是forking进程的生命周期僵尸进程forking编程forking编程思路解决zombie问题forking应用示例多线程编程多线程工作原理多线程的动机多线程任务的工作特点什么是进程什么是线程多线程编程多线程相关模块传递函数给Thread类传递可调用类给Thread类多线程ping主机示例urllib模块urllib基础urllib简介爬取网页爬取网...
2020-02-22 10:45:09
323
原创 python3:PyMySQL模块、SQLAlchemy
文章目录pymysql模块pymysql安装本地安装在线安装pymysql应用使用pymysql模块创建表SQLAlchemy简介ORM模型sqlalchemy进阶pymysql模块pymysql安装本地安装下载模块：https://pypi.org/安装方法一：[root@localhost 下载]# tar xf xxxx.tar.gz # 解压[root@localho...
2020-02-21 20:58:38
458
原创 python3:oop、re模块
文章目录oop简介绑定示例组合与派生什么是组合创建子类特殊方法\_\_init__ 方法oop简介OOP：面向对象的编程>>> class Bear: # 定义类，class是关键字... pass...>>> b1 = Bear() # 创建实例>>> b1.name = '熊大'>>&g...
2020-02-19 14:05:37
485
原创 python3:函数基础及高级应用、模块(hashlib,tarfile)
文章目录函数基础编写简单的加减法数学游戏匿名函数filter函数map函数函数高级应用变量作用域全局变量局部变量global函数式编程偏函数递归函数创建qsort.py文件，实现递归快速排序：生成器模块模块和文件导入模块函数基础函数定义时，不执行其中的代码所以函数定义的先后顺序无所谓def func1(): print('in func1') func2()def ...
2020-02-18 11:56:46
223
原创 python3：时间方法，异常处理，系统文件相关模块(os)
文章目录时间方法time模块时间表示方法：time模块的方法datetime模块异常处理触发异常创建mydiv.py脚本，要求如下：创建myerror.py脚本，要求如下：os模块实现ls -R（os.walk）os.pathpickle模块记账脚本时间方法time模块时间表示方法：时间戳：自1970-1-1 0:00:00到某一时间点之间的秒数UTC时间：世界协调时。以英国格林威治这...
2020-02-17 11:14:41
356
原创 python3:列表、元组、字典、集合
文章目录列表元组创建stack.py脚本，要求如下：字典编写login.py脚本，实现以下目标：集合编写程序，完成以下要求：列表属于容器、顺序、可变类型>>> l1 = [10, 20, 30, 10, 15, 8]>>> len(l1)6>>> l1[-1] = 80 # 因为列表可变，所以可以对某个元素重新赋值>...
2020-02-14 22:00:51
241
原创 python3：系统管理模块，字符串详解
文章目录shutil模块subprocess模块python语法风格关键字内建python模块布局编程思路序列对象相关的函数字符串原始字符串字符串方法shutil模块用于执行与文件系统相关的命令>>> import shutil>>> f1 = open('/bin/ls', 'rb')>>> f2 = open('/tmp/list...
2020-02-12 22:45:15
182
原创 python:文件对象，函数基础和模块基础
文章目录文件读取文本文件字符编码读取非文本文件写入文本文件写入非文本文件with语句移动文件指针函数函数返回值函数参数位置参数默认参数模块导入模块的方法模块的加载模块的特殊属性__name__文件文件操作的三个步骤：打开读写关闭读取文本文件字符编码在计算机上存储字符时，都是以2进制0/1的方式存储。将一连串的01组合表示为一个字符。美国采用的字符编码是ASCII码；西欧使用I...
2020-02-11 22:22:31
149
原创 python:判断，循环基础
文章目录判断语句if三元运算符循环while循环break语句continue语句else语句猜1-100数字range函数列表解析判断语句if除了表达式以外，各种各样的数据类型，也可以作为判断条件。对于数字来说，任何值为0的数字都表示False，非0表示True；其他数据类型，非空为True，空为Falsen1 = 10s1 = 'Python'if n1 > 5: # ...
2020-02-10 21:40:59
212
原创 设置永久变量&临时变量 全局变量&局部变量
文章目录1.总结背景2.变量简介3.定制环境变量4.环境变量设置实例5.学习总结1.总结背景在linux系统下，如果你下载并安装了应用程序，很有可能在键入它的名称时出现“command not found”的提示内容。如果每次都到安装目标文件夹内，找到可执行文件来进行操作就太繁琐了。 这涉及到环境变量PATH的设置问题，而PATH的设置也是在linux下定制环境变量的一个组成部分。2.变...
2020-02-05 12:08:14
1902
原创 ARCHITECTURE:Hadoop高可用
文章目录NameNode重要性解决方案使用方案NameNode高可用hadoop的高可用配置高可用验证启动集群访问集群NameNode重要性原因– NameNode是HDFS的核心配置,HDFS又是Hadoop的核心组件,NameNode在Hadoop集群中至关重要– NameNode宕机,将导致集群不可用,如果NameNode数据丢失将导致整个集群的数据丢失,而NameNode的数据的...
2020-01-16 21:15:57
149
原创 ARCHITECTURE:Hadoop之Zookeeper,Kafka集群
文章目录Zookeeper角色选举Zookeeper原理与设计Zookeeper安装安装ZookeeperKafka集群ZookeeperZookeeper是一个开源的分布式应用程序协调服务Zookeeper是用来保证数据在集群间的事务一致性Zookeeper应用场景– 集群分布式锁– 集群统一命名服务– 分布式协调服务官网文档:http://zookeeper.apache.o...
2020-01-16 19:59:09
235
原创 ARCHITECTURE:Hadoop完全分布式,NFS网关
文章目录安装部署Hadoop词频统计增加节点修复节点删除节点NFS网关基础准备NFSGW配置安装部署Hadoop三大核心组件– HDFS已经部署完毕https://blog.csdn.net/LgMizar/article/details/103972345– MapReduce– Yarn系统规划主机角色软件192.168.1.60 hadoop1Nam...
2020-01-15 20:45:36
209
原创 ARCHITECTURE:Hadoop
文章目录大数据HadoopHadoop组件HDFS结构MapReduce结构Yarn结构Had安装与配置单机模式伪分布式完全分布式大数据大数据5V特性是什么?– (V)olume(大体量)可从数百TB到数十数百PB,甚至EB的规模– (V)ariety(多样性)大数据包括各种格式和形态的数据– (V)elocity(时效性)很多大数据需要在一定的时间限度下得到及时处理– (V)...
2020-01-14 21:06:36
195
原创 ARCHITECTURE:Kibana安装使用,Logstash配置扩展插件
文章目录Kibana概念安装logstash概念安装codec类插件file模块插件filter grok插件解析Apache的日志优化Kibana概念数据可视化平台工具特点:– 灵活的分析和可视化平台– 实时总结流量和数据的图表– 为不同的用户显示直观的界面– 即时分享和嵌入的仪表版安装yum -y install kibanarpm -qc kibana /opt/k...
2020-01-13 21:09:15
216
原创 ARCHITECTURE:分布式ELK平台,ES集群
文章目录分布式ELK平台ELK简介来源什么是ELKELK能做什么Elasticsearch**主要特点****ES缺点****相关概念**ES与关系型数据库的对比Elasticsearch架构图ES集群安装部署多台esES插件使用head插件kopf插件bigdesk插件安装访问head插件访问kopf插件访问bigdesk插件使用head创建index扩展插件RESTful APIHTTP协议简...
2020-01-10 20:43:08
221
原创 ARCHITECTURE:ansible基础,ad-hoc
文章目录ansible基础简介优点特性工作流程ansible安装软件依赖关系配置yum源安装ansible基础简介用于批量搞机的优点只需要SSH和Python即可使用无客户端ansible功能强大,模块丰富上手简单,门槛低基于Python开发,做二次开发更容易使用公司比较多,社区活跃特性模块化设计,调用特定的模块完成特定任务基于Python语言实现– param...
2020-01-08 21:19:49
296
原创 CLOUD:Openstack基础,部署及操作基础
文章目录云计算分类OpenstackOpenstack简介openstack组成openstack结构图主要组件部署安装环境虚拟机配置配置ＤＮＳ配置NTP服务配置yum库及依赖软件包安装软件包检查基础环境安装packstack配置packstack一键部署Openstack云计算分类从云计算的服务模式看，主要分为– 基础即服务（IaaS）,为客户提供构建云计算的基础设施– 平台即服务（P...
2020-01-07 21:25:48
348
原创 CLOUD:自定义镜像与仓库
文章目录自定义镜像docker commitDockerfile自定义镜像docker commit使用镜像启动容器,在该容器基础修改,并另存为一个新的镜像在容器基础上修改yum源docker run -it docker.io/centosrm -rf /etc/yum.repos.d/* vi /etc/yum.repos.d/dvd.repo[dvd]name=dvd...
2020-01-07 21:19:35
271
原创 web:Nginx调度器及优化
文章目录Nginx反向代理后端Web服务器两台，可以使用httpd实现拓扑结构部署实施后端Web服务器配置Nginx服务器，添加服务器池，实现反向代理功能配置upstream服务器集群池属性设置失败次数，超时时间，权重配置upstream服务器集群的调度算法设置相同客户端访问相同Web服务器Nginx的TCP/UDP调度器部署支持4层TCP/UDP代理的Nginx服务器配置Nginx服务器，添加服...
2020-01-06 18:41:48
492
原创 web:lnmp,fastCGI,地址重写
文章目录部署LNMPLNMP基础知识LNMP安装启动服务Nginx+FastCGIFastCGI工作原理FastCGI简介FastCGI缺点php-fpm配置文件修改Nginx配置文件并启动服务创建PHP页面，测试LNMP架构能否解析PHP页面LNMP常见问题地址重写修改配置文件(访问a.html重定向到b.html)步骤二：访问a.html重定向到b.html（跳转地址栏）修改配置文件(访问19...
2020-01-06 15:42:33
188
原创 CLOUD:Docker基础部署,命令,镜像
文章目录概述什么是容器什么是DockerDocker特性Docker优点Docker缺点部署Docker安装前准备安装DockerDocker镜像什么是镜像Docker hub镜像仓库下载、上传镜像导入、导出镜像Docker基本命令容器常见命令概述什么是容器容器技术已经成为应用程序封装和交付的核心技术容器技术的核心有以下几个内核技术组成:– Cgroups(Control Groups...
2020-01-06 11:17:58
201
原创 web:nginx基础及搭建
文章目录Nginx简介Nginx软件安装nginx查看默认安装模块Nginx进程管理Nginx配置分析用户认证Nginx虚拟主机三种模式虚拟主机基于域名的虚拟主机基于端口的虚拟主机基于IP的虚拟主机SSL虚拟主机Nginx简介Nginx(“engine X”)– 是俄罗斯人编写的十分轻量级的HTTP服务器– 是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP...
2020-01-04 10:43:25
576
1
原创 CLOUD:虚拟化,virsh管理
文章目录虚拟化主要厂商及产品kvmkvmＱＥＭＵLIBVIRTDkvm必备软件KVM虚拟机的组成管理KVM平台虚拟机管理虚拟网络管理qemu-img基本操作管理常见镜像类型qemu-img 命令查看镜像文件的信息创建虚拟机脚本虚拟化主要厂商及产品系列PC/服务器版代表VMwareVMware Workstation、vSphereMicrosoftVirtualP...
2020-01-02 09:15:24
237
原创 SECURITY:加密与解密,AIDE入侵检测系统,扫面与抓包
文章目录加密与解密加密目的及方式MD5GPG加/解密工具介绍使用GPG对称加密方式使用GPG非对称加密方式AIDE入侵检测系统部署AIDE入侵检测系统初始化数据库，入侵后检测扫描与抓包扫描方式及工具NMAP扫描基本用法使用NMAP扫描来获取指定主机/网段的相关信息tcpdump基本用法使用tcpdump分析FTP访问中的明文交换信息扩展知识，使用tcpdump分析Nginx的明文账户认证信息信息...
2019-12-30 21:25:13
552
原创 SECURITY:iptables防火墙(网络层)
文章目录防火墙包过滤防火墙四表五链表链表实现的链包过滤匹配流程iptables用法解析iptabels基本用法iptabels语法格式iptables命令匹配规则防火墙规则实例filter过滤和转发控制开启内核的IP转发iptables防火墙规则的条件主机型防火墙案例网络型防火墙案例添加网关的命令扩展匹配扩展条件的方法常见的扩展条件类型扩展案例根据MAC地址过滤基于多端口设置过滤规则根据IP地址范...
2019-12-28 18:07:27
630
原创 SECURITY:补丁
文章目录diff逐行比较diff文件对比diff目录对比patch打补丁使用patch命令对目录下的所有代码打补丁diff逐行比较diff制作补丁文件的原理：告诉我们怎么修改第一个文件后能得到第二个文件。这样如果第一个版本的脚本有漏洞，我们不需要将整个脚本都替换，仅需要修改有问题的一小部分代码即可，diff刚好可以满足这个需求！像Linux内核这样的大块头，一旦发现有一个小漏洞，我们...
2019-12-28 12:48:14
260
原创 SECURITY:Linux基本防护,用户提权,SSH,selinux
文章目录用户账号安全设置账号有效期账号的锁定/解锁伪装登录提示文件系统安全锁定/解锁保护文件用户切换与提权su切换用户身份sudo提升执行权限概述配置sudo提权分析sudo提权的使用情况SSH访问控制用户账号安全设置账号有效期使用chage工具– -d 0 , 强制修改密码– -E yyyy-mm-dd , 指定失效日期(-1)取消chage命令的语法格式：chage –l 账户...
2019-12-28 09:17:15
722
原创 SECURITY:系统审计,服务安全(nginx,tomcat),数据库安全
文章目录系统审计概述什么是审计审计的案例配置审计查看并分析日志手动查看日志通过工具搜索日志服务安全Nginx安全优化Nginx服务的安全配置启用自动索引文件目录(慎用!!!)修改版本信息，并隐藏具体的版本号限制并发量拒绝非法的请求防止buffer溢出数据库安全初始化安全脚本密码安全数据备份与还原数据安全Tomcat安全性隐藏版本信息、修改tomcat主配置文件（隐藏版本信息）降级启动删除默认的测试...
2019-12-27 20:58:26
953
1
原创 SECURITY:Zabbix进阶
文章目录拓扑图与聚合图形创建拓扑图创建聚合图形自定义监控案例监控Nginx服务状态监控网络连接状态拓扑图与聚合图形创建拓扑图创建拓扑绘制拓扑图可以快速了解服务器架构，通过Monitoring（监控中）–>Maps（拓扑图），选择默认的Local network拓扑图，编辑即可（也可以新建一个拓扑图）拓扑图图表说明– Icon（图标），添加新的设备后可以点击图标修改属性– S...
2019-12-25 19:44:24
137
原创 SECURITY:Zabbix自动发现
文章目录概述自动发现流程自动发现规则创建动作概述自动发现(Discovery)– 当Zabbix需要监控的设备越来越多,手动添加监控设备越来越有挑战,此时,可以考虑使用自动发现功能自动发现可以实现:– 发现主机、添加主机、添加主机到组、连接模板等自动发现流程创建自动发现规则创建Action动作(发现主机后自动执行什么动作)通过动作,执行添加主机,链接模板到主机等操作自动...
2019-12-24 12:46:08
179
原创 security:监控(Zabbix)
文章目录监控概述监控的目的监控的资源类别监控软件系统监控命令Zabbix基础Zabbix监控服监控概述监控的目的报告系统运行状态–每一部分必须同时监控–内容包括吞吐量、反应时间、使用率等提前发现问题–进行服务器性能调整前,知道调整什么–找出系统的瓶颈在什么地方监控的资源类别公开数据–Web,FTP,SSH数据库等应用服务–TCP或UDP端口私有数据–CPU,内存,...
2019-12-23 13:06:51
440
原创 分区规划(parted,fdisk)，格式化及挂载
文章目录硬盘分区fdiskMBR/msdos分区模式交互式非交互partedGPT交互式非交互式格式化常用格式化工具挂载临时挂载永久挂载硬盘分区fdiskMBR/msdos分区模式1 ~4个主分区,或者0 ~3个主分区+1个扩展分区(n个逻辑分区)最大支持容量为2.2TB的磁盘扩展分区不能格式化交互式参数说明m打印帮助信息p打印分区信息l打...
2019-12-22 16:48:25
258
原创 软件包管理及制作rpm软件包
文章目录使用Yum软件源使用Yum软件源列出yum库yum repolist清理缓存yum clean all添加指定的yum仓库配置1.使用yum-config-manager工具建立新配置文件yum-config-manager --add-repo http://content.example.com/rhel7.0/x86_64/dvd2.修改新建的仓库配置,，添加gp...
2019-12-21 18:57:37
229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人