2015年11月_南山行者

12月 11月 10月 09月 08月 07月 04月

原创 percona xtrabackup的安装和使用

一、安装1，下载wget http://www.percona.com/downloads/XtraBackup/XtraBackup-2.1.2/binary/Linux/x86_64/percona-xtrabackup-2.1.2-611.tar.gz2，安装所需的依赖包yum install libaio libaio-devel perl-Time-HiRes curl

2015-11-27 17:41:10 1510

原创 grafana安装，与zabbix结合使用监控mysql

Grafana 是 Graphite 和 InfluxDB 仪表盘和图形编辑器。Grafana 是开源的，功能齐全的度量仪表盘和图形编辑器，支持 Graphite，InfluxDB 和 OpenTSDB。Grafana 主要特性：灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；多个数据源；Graphite 和 InfluxDB 查询编辑器等等。注意：Grafana只是一

2015-11-25 17:17:45 11443 2

原创 zabbix监控主从

客户端：1，编写脚本/usr/local/mysql-scripts/mysql-replication.sh#!/bin/bash/usr/local/mysql/bin/mysql -uzabbix -e 'show slave status\G' |grep -E "Slave_IO_Running|Slave_SQL_Running"|awk '{print $2}'|grep

2015-11-23 17:38:21 2005

原创 kettle数据同步例子

需求：Oracle数据同步到mysql数据库，数据库名字、表名和字段名都不相同，定时执行同步。注意：在kettle中，任何一个操作都在转换中进行，相当于一个任务，然后将转换加入job，设置定时执行或重复执行。一个job可以有多个转换。主对象树设置对象属性和外围属性，核心对象设置对象的转换做法和流程。一，转换1，主对象数（1）新建转换（2），新建源数据库、目标数据库的连接

2015-11-23 15:48:44 5520

原创 zabbix邮件报警设置

一，安装邮件发送工具mailxyum install mailx #测试邮件发送echo "zabbix test mail" |mail -s "zabbix" xxx@163.com #或者echo "zabbix test mail" |mailx -v -s "zabbix" xxx@163.com二，设置邮件1，设置邮件发送命令创建媒体类型

2015-11-19 15:24:59 3056

原创 hadoop安装之-sqoop

一、安装准备1，下载sqoop包 http://mirrors.hust.edu.cn/apache/ sqoop分为1.4和1.9版本，1.9版本为交互版本，即服务器端、客户端，1.4为工具版本，直接运行即可，1.4版本根据hadoop版本来区别，本例使用2.6版本的haddop，所以安装时，选择sqoop-1.4.6.bin__hadoop-2.0.4-alpha.ta

2015-11-16 16:53:17 1372

原创 windows文件上传到linux系统的文件内容问题

windows文件上传到linux系统后，因为文件格式的问题，文件内容每行最后会有^M的符号，解决这个问题的办法，是在windows下载一个Notepad++软件，转换为unix格式后，再发送到linux系统。方法如下：

2015-11-16 14:45:36 672

原创 zabbix监控mysql客户端

如果使用rpm安装，可能造成很多依赖问题，所以还是用源码安装，做法参照zabbix服务端安装文档，不过不用拷贝server配置文件，不用启动server，只需要修改agentd文件，启动agentd就可以。需要注意的是，因为server监控客户端mysql需要定义用户参数，所以需要对userparameter进行配置。1，找到默认mysql的用户参数[root@zabbix ~]# fin

2015-11-16 10:34:39 1482

转载解决zabbix图中出现中文乱码问题

如下图所示：这个问题是由于zabbix的web端没有中文字库，我们最需要把中文字库加上即可解决办法如下1.从windows下控制面板->字体->选择一种中文字库例如“楷体”2.把它拷贝到zabbix的web端的fonts目录下例如：/var/www/html/zabbix/fonts，并且把TTF后缀改为ttf3.修改zabbix的web端/include/

2015-11-16 09:23:49 602

原创 zabbix安装

一服务端配置1.配置前先关闭iptables和SELINUX，避免安装过程中报错。[root@zabbix ~]# cat /etc/redhat-releaseCentOS release 6.4 (Final)[root@zabbix ~]# service iptables stopiptables: Flushing firewall rules: [ OK ]

2015-11-16 09:22:57 824

转载 Spark：一个高效的分布式计算系统

概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭

2015-11-15 02:37:55 558

转载四层和七层负载均衡的区别

（一）　　简单理解四层和七层负载均衡:　　① 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟IP+端口接收请求，然后再

2015-11-15 02:27:15 420

转载有趣的机器学习：最简明入门指南

在听到人们谈论机器学习的时候，你是不是对它的涵义只有几个模糊的认识呢？你是不是已经厌倦了在和同事交谈时只能一直点头？让我们改变一下吧！本指南的读者对象是所有对机器学习有求知欲但却不知道如何开头的朋友。我猜很多人已经读过了“机器学习”的维基百科词条，倍感挫折，以为没人能给出一个高层次的解释。本文就是你们想要的东西。本文目标在于平易近人，这意味着文中有大量的概括。但是谁在乎这些呢？只要能让读者

2015-11-15 02:24:26 442

傅里叶分析不仅仅是一个数学工具，更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是，傅里叶分析的公式看起来太复杂了，所以很多大一新生上来就懵圈并从此对它深恶痛绝。老实说，这么有意思的东西居然成了大学里的杀手课程，不得不归咎于编教材的人实在是太严肃了。（您把教材写得好玩一点会死吗？会死吗？）所以我一直想写一个有意思的文章来解释傅里叶分析，有可能的话高中生都能看懂的那种。所以，不管读到这里的您

2015-11-15 02:23:49 555

转载构建高并发高可用的电商平台架构实践

一、设计理念 1. 空间换时间 1) 多级缓存，静态化客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）反向代理缓存应用端的缓存(memcache)内存数据库Buffer、cache机制（数据库，中间件等

2015-11-15 02:14:29 1083

转载 MySQL 高可用架构在业务层面的分析研究

前言：相对于传统行业的相对服务时间9x9x6或者9x12x5，因为互联网电子商务以及互联网游戏的实时性，所以服务要求7*24小时，业务架构不管是应用还是数据库，都需要容灾互备，在mysql的体系中，最好通过在最开始阶段的数据库架构阶段来实现容灾系统。所以这里从业务宏观角度阐述下mysql架构的方方面面。一，MySQL架构设计—业务分析（1）读多写少虚线表示跨机房部署

2015-11-15 02:00:26 509

转载 REST简介

一说到REST，我想大家的第一反应就是“啊，就是那种前后台通信方式。”但是在要求详细讲述它所提出的各个约束，以及如何开始搭建REST服务时，却很少有人能够清晰地说出它到底是什么，需要遵守什么样的准则。在您将看到的这一篇文章中，我们将对REST，尤其是基于HTTP的REST服务进行详细地介绍。通过这些文章，您不仅可以了解到什么是REST，更能清晰地了解到您在编写REST服务时所需要遵守的各个守则

2015-11-15 01:55:15 518

转载 MySQL备份与恢复

为了保障数据的安全，需要定期对数据进行备份。备份的方式有很多种，效果也不一样。一旦数据库中的数据出现了错误，就需要使用备份好的数据进行还原恢复。从而将损失降到最低。下面我们来了解一下MySQL常见的有三种备份恢复方式：1、利用Mysqldump+二进制日志实现备份2、利用LVM快照+二进制日志实现备份3、使用Xtrabackup备份一：实验环境介绍：系统介绍：CentOS6.4

2015-11-15 01:25:29 463

转载不同场景下 MySQL 的迁移方案

一为什么要迁移MySQL 迁移是 DBA 日常维护中的一个工作。迁移，究其本义，无非是把实际存在的物体挪走，保证该物体的完整性以及延续性。就像柔软的沙滩上，两个天真无邪的小孩，把一堆沙子挪向其他地方，铸就内心神往的城堡。生产环境中，有以下情况需要做迁移工作，如下：磁盘空间不够。比如一些老项目，选用的机型并不一定适用于数据库。随着时间的推移，硬盘很有可能出现短缺；业务出现瓶颈。比如

2015-11-15 01:20:09 417

转载 10 种机器学习算法的要点（附 Python 和 R 代码）

前言谷歌董事长施密特曾说过：虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注，但是这家公司真正的未来在于机器学习，一种让计算机更聪明、更个性化的技术。也许我们生活在人类历史上最关键的时期：从使用大型计算机，到个人电脑，再到现在的云计算。关键的不是过去发生了什么，而是将来会有什么发生。工具和技术的民主化，让像我这样的人对这个时期兴奋不已。计算的蓬勃发展也是一样。如今，作为一名数据

2015-11-15 01:18:37 521

转载为 Key-Value 数据库实现MVCC 事务

ACID 是软件领域使用最广泛的技术之一，它是关系数据库的基石，是企业级中间件不可或缺的部分，但通常通过黑盒的方式提供。但是在许多情况下，这种古老的事务方式已经不能够适应现代大规模系统和NoSQL数据库的需要了，现代系统要求更高的性能要求，更大的数据量，更高的可用性。在这种情况下，传统的事务模型被定制的事务或者半事务模型所取代，而在这些模型中事务性并不像以往那样被看重。在本文中我们会讨论一下k

2015-11-15 01:16:05 503

转载 MySQL的备份方式

数据库的备份是极其重要的事情。如果没有备份，遇到下列情况就会抓狂：UPDATE or DELETE whitout where…table was DROPPed accidentally…INNODB was corrupt…entire datacenter loses power…从数据安全的角度来说，服务器磁盘都会做raid，MySQL本身也有主从、drbd等容灾机制，

2015-11-15 00:17:46 451

原创 Mysql自动化安装

1，Shell脚本mysql二进制安装#!/bin/bashecho "Step 1,uninstall mysql-lib"yum remove -y mysql-libsecho "Step 2,add group and user"groupadd mysqluseradd -r -g mysql mysqlecho "Step 3,tar mysql

2015-11-12 17:18:19 862

原创 hadoop安装之-hbase

一、安装准备1，下载hbase包 http://mirrors.hust.edu.cn/apache/ hbase的版本和hadoop的版本存在对应关系，本例的hadoop是2.6，所以使用hbase-1.0.2-bin.tar.gz，太低可能造成hbase安装或使用错误。二、安装hbase1，解压文件hbase-1.0.2-bin.tar.gz到usr/loc

2015-11-10 16:10:27 530

原创 hadoop安装之-hadoop

一、hadoop的三种安装模式1，单机模式解压源码包后不用更改配置文件，就可以运行，主要用于开发调试MapReduce程序的应用逻辑。2，伪分布式伪分布式和完全分布式的区别仅仅是物理机的个数，步骤基本一致。3，完全分布式完全分布式需要在每台机器上安装hadoop以组成分布式存储、计算环境。二、完全分布式安装1，环境：三台

2015-11-09 14:00:46 427

原创 hadoop安装之-hive

一、安装准备1，下载hive包 http://mirrors.hust.edu.cn/apache/ 2， mysql环境创建hive使用的数据和，hive用户mysql> create database hive;mysql>grant all on hive.* to hive@'%' identified by 'hive';mysq

2015-11-05 11:29:02 916