- 博客(752)
- 问答 (1)
- 收藏
- 关注
转载 mysql的数据备份及恢复
一、mysql数据库备份的前因后果1、备份的概念:将数据收集并保存至另外的多个副本,其目的是将数据还原恢复至备份数据时那个状态。2、备份数据的原因1)做灾难恢复使用,要将数据副本做到异地多份备份;2)数据库数据改动时使用备份;3)需要对当前服务器做相关测试时使用备份,备份与测试都是最好在服务器访问量最少时进行3、备份的
2017-03-28 12:00:37 643 1
转载 HAProxy安装和配置大全
一、使用说明: HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时
2017-03-27 20:53:29 14238
原创 seq妙用一则
[haoren@IM-SJ01-Server01 gongsi]$ seq -f '201110%02g' 1 262011100120111002201110032011100420111005201110062011100720111008201110092011101020111011201110
2017-03-27 15:49:09 429
转载 自动化运维工具ansible安装及使用
一、ansible介绍1.ansibleansible是新出现的自动化运维工具,基于Python研发。糅合了众多老牌运维工具的优点实现了批量操作系统配置、批量程序的部署、批量运行命令等功能。仅需在管理工作站上安装ansible程序配置被管控主机的IP信息,被管控的主机无客户端。ansible应用程序存在于epel(第三方社区)源,依赖于很多python组件。主要包括:
2017-03-27 14:26:24 12511 1
转载 elasticsearch和logstash和kibana
开源实时日志分析 ELK , ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站:https://www.elastic.co其中的3个软件是: Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据
2017-03-23 22:11:42 1975
转载 Hive 数据库仓库的基本操作
CentOS下安装Hive2.0.0详解本文环境如下:操作系统:CentOS 6 32位Hive版本:2.0.0JDK版本:1.8.0_77 32位Hadoop版本:2.6.41. 所需要的环境Hive 2.0需要以下运行环境:Java 1.7以上(强烈建议使用Java 1.8)
2017-03-23 16:07:21 3711
转载 Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
Pig一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用,不过我认为与其使用pig不如使用hive。:)Pig是一种数据流语言,用来快速轻松的处理巨大的数据。Pig包含两个部分:Pig Interface,Pig Latin。Pig可
2017-03-23 14:09:10 12728
转载 docker网络
我们在使用docker run创建Docker容器时,可以用--net选项指定容器的网络模式,Docker有以下4种网络模式:host模式,使用--net=host指定。host 模式如果启动容器的时候使用 host 模式,那么这个容器将不会获得一个独立的 Network Namespace,而是和宿主机共用一个 Network Namespace。
2017-03-23 10:15:14 507
转载 Docker镜像
镜像是Docker的三大核心概念之一。Docker运行容器前需要本地存在对应的镜像,如果镜像不存在本地,Docker会尝试先从默认镜像仓库下载,用户也可以通过配置,使用自定义的镜像仓库。1、获取镜像镜像是Docker运行容器的前提。通常情况下我们可以通过使用docker pull命令从网上下载镜像。该命令的格式为docker pull NAM
2017-03-22 16:30:05 2449
转载 saltstack 管理命令
salt相关的管理命令:salt-run manage.up# 查看存活的minion salt-run manage.down # 查看死掉的minionsalt-run manage.down removekeys=True # 查看down掉的minion,并将其删除salt-run manage.status
2017-03-22 11:56:16 645
转载 saltstack实用案例
saltstack实现yum安装httpdvim /etc/salt/master #打开下面三行416 file_roots:417 base:418 - /srv/salt 保存退出 mkdir /srv/salt 重启服务 /etc/init.d/salt-ma
2017-03-21 22:15:56 2257
转载 salt内置模块列表
查看模块 salt '*' sys.list_modules模块名描述aliases管理aliases file信息alternativessalt.modules.alternativesapache管理a
2017-03-21 21:20:13 3214
转载 Linux下批量管理工具pssh
pssh是一款开源的软件,使用python实现,用于批量ssh操作大批量机器;pssh是一个可以在多台服务器上执行命令的工具,同时支持拷贝文件,是同类工具中很出色的;比起for循环的做法,我更推荐使用pssh!使用pssh的前提是:必须在本机与其他服务器上配置好密钥认证访问(即ssh信任关系)。下面就说下使用pssh进行批量操作的记录:1)安装pssh可以yum直接安装:
2017-03-21 18:02:26 2896
转载 Saltstack自动化环境部署
Saltstack知多少Saltstack是一种全新的基础设施管理方式,是一个服务器基础架构集中化管理平台,几分钟内便可运行起来,速度够快,服务器之间秒级通讯,扩展性好,很容易批量管理上万台服务器,显著降低人力与运维成本;它具备配置管理、远程执行、监控等功能,一般可以理解为简化版的puppet和加强版的func;通过部署SaltStack环境,可以在成千上万台服务器上做到批量执行命令,根据
2017-03-21 17:48:26 2506
转载 防火墙之地址转换SNAT DNAT
防火墙之地址转换SNAT DNAT一、SNAT源地址转换。1、原理:在路由器后(PSOTROUTING)将内网的ip地址修改为外网网卡的ip地址。2、应用场景:共享内部主机上网。3、设置SNAT:网关主机进行设置。 (1)设置ip地址等基本信息。 (2)开启路由功能: sed -i '/ip-forward/s/0/1/g'
2017-03-21 14:29:31 33560 1
转载 python操作mysql数据库
基础环境:Python 3.5.1mysql版本:5.6.35 (rpm安装方式)操作系统:Centos7.3 和windows7一、python连接数据库模块介绍: 目前主要用的有以下几种、MySQLdb和pymsql以及mysql官方提供的mysql-connector-python驱动,MySQLdb模块是python2.X使用比较多的,而python3
2017-03-20 21:50:00 1277
转载 kvm虚拟化
第1章 虚拟化的分类1.1 全虚拟化与半虚拟化全虚拟化 又叫硬件辅助虚拟化技术,最初所使用的虚拟化技术就是全虚拟化(Full Virtualization)技术,它在虚拟机(VM)和硬件之间加了一个软件层–Hypervisor,或者叫做虚拟机管理程序(VMM)。hypervisor 可以划分为两大类。首先是类型
2017-03-19 21:09:38 1068
转载 shell字符串截取方法
shell中截取字符串的方法有很多中,${expression}一共有9种使用方法。${parameter:-word}${parameter:=word}${parameter:?word}${parameter:+word} 上面4种可以用来进行缺省值的替换。
2017-03-19 20:55:46 318
转载 python ftp和sftp的例子
python ftp 上传、下载文件#获取昨天日期TODAY = datetime.date.today() YESTERDAY = TODAY - datetime.timedelta(days=1)CURRENTDAY=YESTERDAY.strftime('%Y%m%d')----------
2017-03-19 20:44:43 7179
转载 zabbix客户端部署
服务端部署备份原有的yum[root@ns1 ~]# find /etc/yum.repos.d/ -name '*.repo' -exec mv {} {}.back \;#配阿里云yum源[root@ns1 ~]# vim /etc/yum.repos.d/aliyun.repo [aliyun]name=ce
2017-03-17 17:58:10 4996
转载 python之socket
python之socket一、初识socket socket 是网络连接端点,每个socket都被绑定到一个特定的IP地址和端口。IP地址是一个由4个数组成的序列,这4个数均是范围 0~255中的值(例如,220,176,36,76);端口数值的取值范围是0~65535。端口数小于1024的都是为众所周知的网络服务所保留的 (例如Web服务使用的80端口);最大的保留
2017-03-15 22:11:57 2698
转载 python time时间,日期,时间戳处理
1.将字符串的时间转换为时间戳 方法: a = "2013-10-10 23:40:00" 将其转换为时间数组 import time timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")转换为时间戳:timeStamp =
2017-03-14 21:57:00 549
转载 python中的import,reload,以及__import__
import 作用: 导入/引入一个python标准模块,其中包括.py文件、带有__init__.py文件的目录。e.g:[python] view plaincopy import module_name[,module1,...] from module import *|child[,child1,...] 说明:多次重复使用
2017-03-14 19:00:53 3247
转载 Apache和Nginx开启Https
1.安装openssl[root@c6 ~]# yum install -y openssl openssl-devel___________________________________________________________ yum安装方式http://www.openssl.org/source/ #下载openssl
2017-03-13 20:53:45 2491
转载 Linux apache下导入SSL证书
自制ssl凭证建立凭证文件[root@bird certs]# cd /etc/pki/tls/certs/[root@bird certs]# make xxx.key[root@bird certs]# mv xxx.key xxx.key.raw[root@bird certs]# openssl rsa -in xxx.key.
2017-03-13 20:24:13 834
转载 Linux apache下导入SSL证书
自制ssl凭证大体流程:先建立一把 private key 预备提供给 SSL 凭证签名要求所用;2. 最后建立 SSL 凭证 (test certificates)。建立凭证文件[root@bird certs]# cd /etc/pki/tls/certs/[root@bird certs]
2017-03-13 20:13:58 4243
转载 Linux下搭建Apache服务器
Linux下搭建Apache服务器(完整版)什么是Apache?Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再发布(作为开源或商业软件)。需要满足的条件也和BSD类似Apache主要特点1、开放源代码、跨平台应用2、支持多种网页编程语言
2017-03-13 18:35:19 21290 1
转载 编译安装详解和rpm和yum
1. 程序包管理器的功能 我们知道,由程序员编写并提供的程序源代码要转换成目标二进制格式才能在计算机上运行起来,但用户要在平台上使用时需要手动编译安装后才能使用,对于普通用户来说有一定难度。因此为了降低普通用户对应用程序的使用难度,程序员可在提供源代码的同时提供已在特定环境下编译好的程序文件,只要用户的平台环境和程序员的平台环境相同,就可以通过解压程序员提供的二进制格式文
2017-03-13 15:59:51 6932 1
转载 python学习
#encoding=utf-8# -*- coding:gb2312 -*- import osimport calendarimport datetimeimport MySQLdbimport os, sys, re,stringimport time, tarfile,getoptimport socketimport
2017-03-12 22:02:56 491
转载 用Kibana和logstash快速搭建实时日志查询、收集与分析系统
Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。kibana 也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分
2017-03-12 19:59:03 5727
转载 nginx基本配置与参数说明
user nobody;#启动进程,通常设置成和cpu的数量相等worker_processes 1; #全局错误日志及PID文件#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;
2017-03-11 22:21:08 4279
转载 MySQL查看SQL语句执行效率和mysql几种性能测试的工具
Explain命令在解决数据库性能上是第一推荐使用命令,大部分的性能问题可以通过此命令来简单的解决,Explain可以用来查看 SQL 语句的执行效 果,可以帮助选择更好的索引和优化查询语句,写出更好的优化语句。Explain语法:explain select … from … [where ...]例如:explain select * from news
2017-03-11 22:18:09 29834 4
转载 运维工具SaltStack
一、概述salt是一个异构平台基础设置管理工具,使用轻量级的通讯器ZMQ,用Python写成的批量管理工具,完全开源,遵守Apache2协议,与Puppet,Chef功能类似,有一个强大的远程执行命令引擎,也有一个强大的配置管理系统,通常叫做Salt State System。二、基本原理采用C/S模式,server端就是salt的master,client端就
2017-03-11 22:11:33 2687
转载 python利用微信公众号报警代码
微信公众号共有三种,服务号、订阅号、企业号。它们在获取AccessToken上各有不同。其中订阅号比较坑,它的AccessToken是需定时刷新,重复获取将导致上次获取的AccessToken失效。而企业号就比较好,AccessToken有效期同样为7200秒,但有效期内重复获取返回相同结果。为兼容这两种方式,因此按照订阅号的方式处理。
2017-03-09 15:45:38 5578
转载 python练习集100题(1-20)
题目1:有1、2、3、4四个数,能组成多少个互不相同且无重复的三位数?都是多少?list_num=[1,2,3,4]all_num=[]for i in list_num: for j in list_num: for k in list_num : if (i!=j) and (i!=k) an
2017-03-09 15:20:35 8320
转载 python练习
Python统计列表中的重复项出现的次数的方法#方法1:mylist = [1,2,2,2,2,3,3,3,4,4,4,4]myset = set(mylist) #myset是另外一个列表,里面的内容是mylist里面的无重复 项for item in myset: print("the %d has found %d" %(item,m
2017-03-09 15:14:37 853
转载 MYSQL命令行导出XML格式数据
mysql -X -uroot -proot -e "use test; show variables like '%version%';"参数-X表示生成xml格式的输出 , 参数-e表示执行后面的命令 导出表数据到xml文件mysql -X -uroot -proot -e "use test; select * from test;" > .
2017-03-09 14:42:13 3963
转载 docker入门
docker安装简介docker:一个能把开发的应用程序自动部署到容器的开源引擎。由docker公司(前dotcloud)开发,基于apache2.0开源协议docker的作用:1.加速本地开发和构建流程2.能让独立服务或应用程序在不同的环境中得到相同的运行结果。3.为开发,测试提供一个轻量级的独立沙盒环境4.提过一个多用户的平台即服务基础设
2017-03-09 13:50:08 278
转载 SSDB安装和配置
SDB是一个开源的高性能数据库服务器, 使用Google LevelDB作为存储引擎, 支持T级别的数据, 同时支持类似Redis中的zset和hash等数据结构, 在同时需求高性能和大数据的条件下, 作为Redis的替代方案.因为SSDB的最初目的是替代Redis, 所以SSDB会经常和Redis进行比较. 我们知道, Redis是经常的”主-从”架构, 虽然可以得到负载均衡以及数据跨地
2017-03-09 12:35:57 1851
转载 shell第一列相同即判断为重复,取其中一条数据
例如 123456.txt内容如下90115601,2137786735 3668490115601,2137786735 3668490118301,17751822 3489890145133,2050186877 384790145133,2050186877 384790151825,35804
2017-03-08 18:54:42 6638
空空如也
为什么虚拟机每次重启都不加载ifcfg-eth0的配置
2014-08-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人