- 博客(79)
- 收藏
- 关注
RSS订阅
原创 Hadoop概述与安装配置
大数据介绍大数据的由来大数据随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网、物联网建设的加快,信息更是爆炸是增长,收集、检索、统计这些信息越发困难,必须使用新的技术来解决这些问题什么是大数据大数据的定义大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察发...
2019-06-21 20:00:40
14688
原创 Mysql集群(MHA)概述与部署
MHA简介MHA（Master High Availability）由日本DeNA公司youshimaton开发是一套优秀的实现MySQL高可用的解决方案数据库的自动故障切换操作能做到在0～30s之内MHA能确保在故障切换过程中保证数据的一致性，以达到真正意义上的高可用MHA组成MHA Manager（管理节点）可以单独部署在一台独立的机器上，管理其他节点也可以部署在一台s...
2020-06-10 21:45:37
723
原创 Django
Django概述Django简介Django是一个开放源代码的Web应用框架,由Python写成最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站2005年7月在BSD许可证下发布框架介绍Django 框架的核心组件有:用于创建模型的对象关系映射为最终用户设计的完美管理界面一流的 URL 设计设计者友好的模板语言缓存系统MTV模式Django的M...
2019-07-23 19:03:47
760
原创 CSS概述
CSS 的作用• 查看如下代码<body bgcolor="silver" text="blue" > <h2>h2 text</h2> <hr color="red" /> Some text here.</body>如果使用 HTML 标记中的属性来定义样式,各元素对于样式的属性定义各不相同!<html&g...
2019-07-20 14:06:59
639
原创 HTML概述
超文本Web 是一个超文本文件的集合超文本文件是 Web 的基本组成单元,也称为网页或HTML文档、Web页等,通常是以.html或.htm为后缀的文件Web页之间通过超文本中的超级链接组织在一起什么是 HTMLHTML(HyperText Markup Language):超文本标记语言,一种纯文本类型的语言使用带有尖括号的“标记”将网页中的内容逐一标识出来用来设计网...
2019-07-20 13:45:17
543
原创 Jenkins
Jenkins基础Jenkins概述Jenkins是由java编写的一款开源软件作为一款非常流行的CI(持续集成)工作,用于构建和测试各种项目Jenkins 的主要功能是监视重复工作的执行,例如软件工程的构建或在cron下设置的jobs持续集成持续集成(CI)是当下最为流行的应用程序开发实践方式程序员在代码仓库中集成了修复bug、新特性开发或是功能革新CI工具通过自动构建和自...
2019-07-19 19:54:26
295
原创 git && gitlab
git基本应用《pro git》https://down.51cto.com/data/273438安装[root@node5 ~]# yum install -y git配置基础信息[root@node5 ~]# git config --global user.name "Mr.zzg"[root@node5 ~]# git config --global user.email ...
2019-07-17 20:14:00
402
原创 Python之Zabbix
Zabbix api简介部署zabbixZabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题部署方式参见云计算监控课程,不再赘述Zabbix api概述Zabbix API允许你以编程方式检索和修改Zabbix的配置,并提供对历史数据的...
2019-07-17 19:47:06
2329
原创 Python实现邮件发送，钉钉机器人
邮件编程SMTP概述SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,使用TCP协议25端口它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装SMTP对象• Python发送邮件,第一步是创建SMTP对象import smtp...
2019-07-17 18:49:31
4604
原创 Python之Ansible
Ansible简介Ansible是一个配置管理和配置工具,类似于Chef,Puppet或Salt这是一款很简单也很容易入门的部署工具,它使用SSH连接到服务器并运行配置好的任务服务器上不用安装任何多余的软件,只需要开启ssh,所有工作都交给client端的ansible负责安装ansible在线安装[root@localhost ~]# yum install -y ansib...
2019-07-17 14:39:38
508
原创 paramiko模块
paramiko模块安装paramiko模块本地安装#yum install -y gcc gcc-c++ python-devel#tar xzf paramiko-1.15.4.tar.gz#python setup.py install网络安装#pip install paramiko基础使用介绍SSHClient创建用于连接ssh服务器的实例>>&...
2019-07-15 15:11:58
250
原创 urllib简单使用
urllib模块urllib简介在Python2版本中,有urllib和urlib2两个库可以用来实现request的发送。而在Python3中,已经不存在urllib2这个库了,统一为urlliburllib中包括了四个模块urllib.request可以用来发送request和获取request的结果urllib.error包含了urllib.request产生的异常urllib...
2019-07-15 15:07:01
308
原创 Python多线程编程
forking工作原理什么是forkingfork(分岔)在Linux系统中使用非常广泛当某一命令执行时,父进程(当前进程)fork出一个子进程父进程将自身资源拷贝一份,命令在子进程中运行时,就具有和父进程完全一样的运行环境import osprint('Starting')os.fork() #生成子进程#后续代码在父子进程中都要执行print('Hello World...
2019-07-15 15:00:32
330
原创 Python正则表达式模块re
正则表达式匹配一组字符其他元字符核心函数和方法match函数尝试用正则表达式模式从字符串的开头匹配,如果匹配成功,则返回一个匹配对象;否则返回None>>> import re>>> m = re.match('foo', 'food') #成功匹配>>> print(m)<_sre.SRE...
2019-07-11 20:46:22
194
原创 SQLAlchemy使用
SQLAlchemy概述安装SQLAlchemy由官方收录,可以直接安装[root@localhost packages]# pip3 install sqlalchemy简介SQLAlchemy是Python编程语下的一款开源软件。提供 SQL 具包及对象关系映 射(ORM) 工具,使用MIT许可证发SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问...
2019-07-11 20:29:29
310
原创 PyMySQL
PyMySQL安装使用pypipypi即python package index是python语言的软件仓库官方站点为https://pypi.python.org通过pip安装PyMySQL模块安装依赖包[root@localhost packages]# yum install -y gcc本地安装[root@localhost packages]# pip3 ins...
2019-07-11 20:04:49
297
原创 Python之备份文件
需要支持完全和增量备份周一执行完全备份其他时间执行增量备份备份文件需要打包为tar文件并使用gzip格式压缩from time import strftimeimport os,tarfile,hashlib,pickledef file_md5(path): if not path: return '' m = hashlib.md5() ...
2019-07-10 14:10:30
233
原创 Python异常处理,时间,OS,pickle模块
time模块时间表示方式时间戳timestamp:表示的是从1970年1月1日00:00:00开始按秒计算的偏移量UTC(Coordinated Universal Time,世界协调时)亦即格林威治天文时间,世界标准时间。在中国为UTC+8。DST(Daylight Saving Time)即夏令时元组(struct_time):由9个元素组成struct_time元组索...
2019-07-09 08:43:42
290
原创 Python字符串处理
python语法风格>>> x = y = 10>>> a, b = 10, 20>>> x, y = (100, 200)>>> m, n = [1, 2]>>> a, b = b, a # a和b的值互换# python的关键字>>> import keyword&...
2019-07-04 18:20:07
247
原创 Python系统管理模块
shutil模块复制和移动shutil.copyfileobj(fsrc, fdst[, length])将类似文件的对象fsrc的内容复制到类似文件的对象fdst。shutil.copyfile(src, dst, *, follow_symlinks=True)将名为src的文件的内容(无元数据)复制到名为dst的文件,然后返回dst。shutil.copy(src, ...
2019-07-04 16:03:01
323
原创 Python文件处理
open内建函数作为打开文件之门的“钥匙”,内建函数open() 提供了初始化输入/输出(I/O)操作的通用接口成功打开文件后时候会返回一个文件对象,否则引发一个错误基本语法:file_object = open(file_name, mode='r', buffering=-1)文件对象访问模式文件模式操作r以读方式打开(文件不存在则报错)w以写方式...
2019-07-03 15:08:26
438
原创 Python语法基础
python语法基础python完全靠缩进表达代码逻辑注释采用#。pycharm的快捷键是ctrl+/续行使用\同行多个语句采用;分隔，但是不推荐，因为可读性下降输出语句>>> print('Hello World!')Hello World!>>> print('hao', 123) # print可以打印多项hao 123>...
2019-07-01 19:17:22
276
原创 zookeeper及hadoop高可用
ZookeeperZookeeper是什么Zookeeper是什么Zookeeper是一个开源的分布式应用程序协调服务Zookeeper能做什么Zookeeper是用来保证数据在集群间的事务一致性Zookeeper应用场景集群分布式锁集群统一命名服务分布式协调服务角色与特性Zookeeper角色与特性Leader:接受所有Follower的提案请求并统一协调发...
2019-07-01 08:48:06
686
原创 mycat读写分离
mycat是大家都熟悉的软件,它不光能做分库分表,更多的也被用于做数据库的对分离,下面就着重展示一下mycat做读写分离的文件配置一,修改server.xml此文件是设置登录mycat的用户账号跟密码,与登录数据库用户密码无关,可以自定义设置,无需在数据库中创建该用户<?xml version="1.0" encoding="UTF-8"?><!-- - - Lice...
2019-06-28 16:47:05
309
原创 分布式ELK平台之Kibana和Logstash
配置一台虚拟机192.168.1.65配置yum跟hosts解析Kibana安装与配置kibana是什么数据可视化平台工具特点:灵活的分析和可视化平台实时总结流量和数据的图表为不同的用户显示直观的界面即时分享和嵌入的仪表板kibana安装kibana 的安装非常简单,我们使用 rpm 方式安装yum -y install kibanakibana 默认安装在 /...
2019-06-19 08:00:40
672
原创 分布式ELK平台之Elasticsearch
ELK简介什么是ELKELK是一整套解决方案,是三个软件产品的首字母缩写,很多公司都在使用,如:Sina、携程、华为、美团等ELK分别代表Elasticsearch:负责日志检索和储存Logstash:负责日志的收集和分析、处理Kibana:负责日志的可视化这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故被简称为ELKELK能做什么E...
2019-06-18 19:01:35
383
原创 playbook简单使用
ansible七种武器第一种武器ansible 命令,用于执行临时性的工作,必须掌握第二种武器ansible-doc是ansible模块的文档说明,针对每个模块都有详细的说明及应用案例介绍,功能和Linux系统man命令类似,必须掌握第三种武器ansible-console是ansible为用户提供的交互式工具,用户可以在ansible-console虚拟出来的终端上像Shell一样...
2019-06-13 18:52:25
968
原创 ansible使用
ansible简介什么是ansibleansible是2013年推出的一款IT自动化和DevOps软件,2015年被RedHat收购。是基于Python研发,糅合很多老运维工具的优点,实现了批量操作系统配置,批量程序部署,批量运行命令等功能ansible可以实现:自动化部署APP自动化管理配置项自动化持续交付自动化(AWS)云服务管理为什么选择ansible选择一款配置管...
2019-06-12 18:25:51
1286
原创 Docker容器
Docker概述什么是容器–容器技术已经成为应用程序封装和交付的核心技术–容器技术的核心有以下几个内核技术组成:-Cgroups(Control Groups)-资源管理-NameSpace-进程管理-SELinux安全–由于是在物理机上实施的隔离,启动一个容器,可以像启动一个进程一样快速什么是Docker–Docker是完整的一套容器管理系统–Docker提供了一组命令,让用...
2019-06-11 18:58:10
386
原创 Openstack
云计算基础什么是云计算基于互联网的相关服务的增加、使用和交付模式这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源什么是云?对于到底什么是云计算,至少可以找到100种解释现阶段广为接受的是美国国家标准与技术研究院(NIST)...
2019-06-06 18:29:01
3180
原创 KVM简介
虚拟化概念virtualization资源管理x个物理资源–>y个逻辑资源实现程度:完全,部分,硬件辅助(CPU)虚拟化主要厂商及产品系列PC/服务器版代表VMwareVMware Workstation,vSphereMicrosoftVirtualPC,Hyper-VRedHatKVM,RHEVCitrixXenOracl...
2019-06-04 18:49:36
787
原创 Zabbix进阶
Zabbix报警机制概念介绍自定义的监控项默认不会自动报警首页也不会提示错误需要配置触发器与报警动作才可以自定报警触发器(trigger)表达式,如内存不足300M,用户超过30个等当出发条件发生后,会导致一个触发事件触发事件会执行某个动作动作(action)触发器的条件被触发后的行为可以是发送邮件,也可以是重启某个服务等实现功能:监控Linux...
2019-06-03 19:28:07
594
原创 服务安全与监控之Zabbix
监控概述监控的目的报告系统运行状况每一部分必须同时监控内容包括吞吐量，反应时间，使用率等提前发现问题进行服务器性能调整前,知道调整什么找出系统的瓶颈在什么地方监控的资源类别公开数据web,FTP,SSH,数据库等应用服务TCP或者UDP端口私有数据CPU,内存,磁盘,网卡流量等使用信息用户,进程等运行信息监控软件监控系统命令ps,ifconfig,...
2019-06-02 10:56:23
1110
原创 计算机网络概述以及华为交换机的基本使用
计算机网络概述什么是计算机网络硬件方面:通过线缆将网络设备和计算机链接起来软件方面:操作系统,应用软件,应用程序通过通信线路互连实现资源共享,信息传递,增加可靠性,提高系统的处理能力计算机网络发展阶段60年代分组交换:提高数据传输速度,减少服务器负担70-80年代TCP/IP90年代Web技术网络标准标准化组织ISO(国际标准化组织)IEEE(电气和电子工程...
2019-05-31 20:43:12
1322
原创 iptables防火墙
什么是防火墙一道保护性的安全屏障保护、隔离Linux包过滤防火墙RHEL7默认使用firewalld做为防火墙但firewalld底层还是调用包过滤防火墙iptables一、安装防火墙软件[root@ip52 ~]# systemctl stop firewalld[root@ip52 ~]# systemctl disable firewalld[root@ip52...
2019-05-30 20:05:33
220
原创 Linux系统审计与服务安全，打补丁
什么是审计基于事先配置号的规则生成日志，记录可能发生在系统上的事件审计不会为系统提供额外的完全防护，但它会发现并记录违反安全策略的人及其对应的行为审计能够记录的日志内容：日期与事件、事件结果触发事件的用户所有认证机制的使用都可以记录，如SSH等对关键数据文件的修改行为等审计的案例监控文件访问监控系统调用记录用户运行的命令审计可以监控网络访问行为ausearch工...
2019-05-30 19:40:07
883
原创 文件加解密，AIDE入侵检测，扫描与抓包
加/解密概述发送方:明文->密文接收方:密文->明文加密目的及方式确保数据的机密性对称加密：加密/解密用同一个密钥非对称加密：加密/解密用不同的密钥（公钥、私钥）保护信息的完整性信息摘要：基于输入的信息生成长度较短、位数固定的散列值常见的加密算法对称加密DES，Data Encryption StandardAES,Advanced Enc...
2019-05-28 19:27:21
890
原创 Linux基本防护
用户帐号安全设置帐号有效期使用chage工具-d 0,强制修改密码-E yyyy-mm-dd,指定失效日期(-1取消)[root@ip51 ~]# useradd tom[root@ip51 ~]# chage -E 2019-06-01 tom //设置密码失效日期[root@ip51 ~]# chage -E -1 tom //取消密码失效日期限制[root@i...
2019-05-27 19:12:51
677
原创 MongoDB副本集，增删查改
环境准备51~51都需要安装MongoDB服务,并设置对应的ip地址跟端口副本集介绍也称为MongoDB复制指在多个服务器上存储数据副本,并实现数据同步提高数据可用性、安全性、方便数据故障恢复MongoDB复制原理副本集工作过程至少需要两个节点，其中一个是主节点，负责处理客户端请求，其余是从节点，负责复制主节点数据常见搭配方式：一主一从、一主多从主节点记录所有操作oplo...
2019-05-25 18:20:29
699
原创 MongoDB部署以及基本使用
MongoDB介绍介于关系数据库和非关系数据库之间的产品一款基于分布式文件存储的数据库，旨在为WEB应用提供可扩展的高性能数据库存储解决方案将数据存储为一个文档（类似于JSON对象），数据结构由键值（key=>value）对组成支持丰富的查询表达，可以设置任何属性的索引支持副本集，分片搭建MDB服务器一、装包[root@ip50 ~]# tar -zxf mongod...
2019-05-25 10:55:34
454
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人