2015年12月_Kevin.Yang

翻译 spark streaming 1.5.2 编程指南

1 概述Spark Streaming是Spark核心API的一个扩展，对于实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。Spark Streaming可以从 kafka、flume、Twitter、 ZeroMQ、Kinesis、TCP套接字等数据源获取数据，同时可以用由high-level函数（如map、reduce、join、window等）组成的复杂算法处理数据。最后，处

2015-12-29 20:40:06 2448 1

翻译 Spark Streaming 自定义接收器

Spark Streaming可以从任意数据源接受流数据，而不仅仅是那些内置支持的数据源（如Flume、kafka等）。这就要求开发人员实现一个接收器（recevier），用于接收来自有关数据源的数据。本篇手册以一个自定义的接收器（recevier）实现和其在spark streaming中的应为为主线进行讲解。需要注意的是，自定义接收器可以用Scala或者Java实现。实现自定义

2015-12-27 23:14:05 3628

原创 Zookeeper的安装与HelloWorld

（一）安装ps: 我的zookeeper集群有三台机器，分别为IP1、IP2、IP31.1将zookeeper的包分别拷贝到/apps/svr/目录下进行解压tar -zxvf zookeeper-3.4.5.tar1.2 修改配置文件（1）配置server，如上图红色部分所示（2）配置dataDir，图中设置为/apps/dat/zookeeper如果所在目录不存在，创建目录mkdir -p

2015-12-24 19:13:51 1866

原创 mysql binlog系列（二）----java解析binlog

在进入正题之前，我们需要知道binlog的event的类型，先来看看自己binlog文件有哪些？其中红色部分为event_type。（一） binlog event 的类型binlog event 的类型有很多，具体可以参见mysql官方文档：http://dev.mysql.com/doc/internals/en/event-meanings.html

2015-12-22 23:34:37 20724 7

原创 Kafka的安装配置与测试

（一）安装与配置安装列表kafka_2.10-0.8.1.1.tarjdk1.7.0_51.tar1 安装jdk如果jdk已安装，可以跳过；没有安装的可以参照：http://blog.csdn.net/ouyang111222/article/details/503441352 安装kafka1.2.1 解压kafka我的集群有3台机器，ip分别为ip1、ip2、

2015-12-17 17:44:46 2897

原创 Linux安装jdk

(1) 下载jdkhttp://www.oracle.com/technetwork/java/javase/downloads/index.html(2) 安装（以1.7/64为例 .tar）1 建立目录mkdir /apps/svr/jdk2 解压.tartar -xf jdk1.7.0_51.tar3 将解压之后的文件移动或者拷贝至第一步建立的目录之中mv jdk1.7.0_51 jdk(

2015-12-17 17:00:50 836

原创 mysql binlog系列（一）----binlog介绍、日志格式、数据查看等

（一） binlog介绍binlog,即二进制日志,它记录了数据库上的所有改变，并以二进制的形式保存在磁盘中；它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制（主从数据库的复制）。（二） binlog格式binlog有三种格式：Statement、Row以及Mixed。–基于SQL语句的复制(statement-based replication,SBR)， –基于行的复

2015-12-14 21:35:45 74455

原创 Redis中keys命令的使用与带来的性能问题

（一）keys命令的使用进入redis-cli之后，我们通常比较关心的是有哪些key(ps:当然也可以用其他客户端工具)，那么就不得不说keys命令keys pattern获取当前库下的所有keykeys *如下图所示，存在四个key:redis01、redis11、hbase01、hbase11keys支持一下3种类型的通配符：（1）*，该通配符表示任一长度的

2015-12-12 12:07:50 27204

原创 Hbase常用的shell命令

(一)进入hbase shell交互模式hbase shell(二)常规命令2.1 查看集群状态status2.2 查看hbase版本version(三)表的管理—DDL命令3.1 查看所有表list3.2 创建表create 't1',{NAME=>'f1',VERSION=>2}3.3 查看表的结构describe 't1'3.4 删除表分为两个步骤，先disable再dropdisabl

2015-12-09 18:02:58 1858

Kevin.yang专栏