2018年04月_anoperA

原创判断是否为gzip文件模板代码

package com.urun.flume.commons;import java.io.FileInputStream;import java.io.IOException;import java.util.zip.GZIPInputStream;public class App { public static void main(String[] args) throws I...

2018-04-27 17:28:49 1596

原创 FLume Sink模板代码

public class SimpleSink extends AbstractSink implements Configurable{ private static final Logger logger = LoggerFactory.getLogger(SimpleSink.class); @Override public synchronized void start() ...

2018-04-27 16:06:25 229

原创 ZooKeeper Java API 创建Session连接

package lab.anoper.zk.main;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooKeeper;import java.io.IOException;import java.util.concurre...

2018-04-18 12:08:02 261

原创 kill -9 <PID>无法杀死一个进程

问题:使用 kill -9 PID 无法杀死一个进程.原因: 这个进程可能是一个僵尸进程(Zombie Process).解决:1. 查看僵尸进程:ps -ef | grep defunct#子进程, 父进程ps -ef | grep defunct | more2. 杀死僵尸进程的父进程:kill -9 PPID...

2018-04-17 19:52:59 9936 1

原创 HBase Shell基本命令

创建表create '<table name>', '<column family>', 'column family', ...create 'emp', 'personal data', 'professional data'列出所有表list#禁用一个表disable '<tableName>'disable 't1'启用一个表en...

2018-04-15 15:18:10 190

原创 Spark中RDD flatMap的示例

package examples;import constant.Constants;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.ap...

2018-04-09 21:01:47 1010

原创 Spark Accumulator示例代码

package examples;import org.apache.spark.Accumulator;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apach...

2018-04-09 17:49:40 277

原创 Spark SQL读取json文件

DataFrame是什么?是带有模式(Schema)的RDD, 类似于二维表, 有了Schema可以洞察更多的额信息.准备json数据, json数据需要是一行代表一个Row{"id":1, "name":"leo", "age":18}{"id":2, "name":"jack", "age":19}{"id":3, &q

2018-04-09 16:16:28 1567

原创 Zookeeper Java客户端使用

import org.apache.zookeeper.*;import org.apache.zookeeper.data.ACL;import org.apache.zookeeper.data.Id;import org.apache.zookeeper.server.auth.DigestAuthenticationProvider;import java.io.IOExcept...

2018-04-08 13:07:33 176

原创配置一个ZooKeeper伪分布式集群

确定dataDir, 创建目录, 分别创建myid文件.修改三份配置文件.启动三个服务器.#选定dataDir为/var/zoo#为3个节点创建dataDirmkdir -p /var/zoo/zk1mkdir -p /var/zoo/zk2mkdir -p /var/zoo/zk3#创建myid文件echo '1' >> /var/zoo/zk1/myidecho '...

2018-04-07 17:38:46 178

原创 CDH集群安装02--系统准备

# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and the# update status of each mirror to pick mirrors that are updated to and# geographically close to the clien...

2018-04-06 19:25:28 111

原创 CDH实验环境搭建

安装3个CentOS系统.将工作模式设置为命令行模式vim /etc/inittab#设置id:5:initdefault为id:5:initdefault

2018-04-05 01:21:00 273 1

a1158375969的专栏