侯上校

原创 SparkStreaming定时器生成Job

/** * An interface to represent clocks, so that they can be mocked out in unit tests. */private[spark] trait Clock { def getTimeMillis(): Long def waitTillTime(targetTime: Long): Long}...

原创 Spark2.0版本神器Structured Streaming

Spark2.0.0神器

原创 Hive的Base64使用

public static void main(String[] args) throws IOException { BASE64Encoder base64=new BASE64Encoder(); base64.encode("http://www.xnhzj.com/".getBytes("utf-8"), System.out); ...

原创 编译基于Hadoop2.6的Spark1.6源码

......[INFO] Including org.spark-project.spark:unused:jar:1.0.0 in the shaded jar.[WARNING] hadoop-yarn-common-2.6.0.jar, hadoop-yarn-api-2.6.0.jar define 3 overlapping classes: [WARNING] - o...

原创 【转】Scala的协变和逆变

转自：http://my.oschina.net/scipio/blog/282794 一、概念 协变和逆变是描述在集合中的多态关系与原来类型多态关系之间的关系。如果T1是T的子类，那么Container[T1]是不是Container[T]的子类呢？Variance注释允许你在类继承和多态类型之间表达下面的这些关系： * covariant(协变),[+T],C...

原创 编译spark-project的hive

mvn clean compile package install -Phadoop-2 -DskipTests main: [delete] Deleting directory /usr/local/src/spark_hive/hive-release-1.2.1-spark/packaging/target/tmp [delete] Deleting direct...

原创 编译Spark1.5.1源码

[root@cluster spark-1.5.1]# mvn -Dhadoop.version=2.6.0-cdh5.4.0 -Dscala-2.10.4 -Phive -Dmaven.test.skip=true clean package [INFO] Replacing original artifact with shaded artifact.[INFO] Replac...

原创 编译Hive1.2.1

[root@cluster apache-hive-1.2.1-src]# mvn clean package -Pdist -Phadoop-2 -Dmaven.test.skip=true....Downloaded: https://repo1.maven.org/maven2/org/codehaus/plexus/plexus-interpolation/1.15/plexus...

原创 Uber模式测试

原创 Hadooop序列化框架使用

第一步:实现Writable接口(TestGenericWritable.java) public static class Baz extends Bar { @Override public void readFields(DataInput in) throws IOException { super.readFields(in); //...

原创 Flume写数据换行

在Flume写入HDFS的时候会自动换行问题， 项目要求写入HDFS中数据不需要换行，　查看源码及配置如下：BodyTextEventSerializer.java @Override public void write(Event e) throws IOException { out.write(e.getBody()); if (appendNewlin...

原创 Flume每30秒加载配置文件

Flume默认30重新加载配置文件的，如果配置了不加载的话就使用properties.load进来的，定期执行文件检查ScheduledExecutorService executorService = Executors.newSingleThreadScheduledExecutor( new ThreadFactoryBuilder().setNameFor...

原创 flume加载配置

PropertiesFileConfigurationProvider.java@Override public FlumeConfiguration getFlumeConfiguration() { BufferedReader reader = null; try { reader = new BufferedReader(new FileRea...

原创 log4j加载配置bug

异常信息：log4j:ERROR setFile(null,true) call failed.java.io.FileNotFoundException: at java.io.FileOutputStream.open(Native Method) at java.io.FileOutputStream.<init>(FileOutputStream.java:...

原创 【转】BCWS、BCWP、ACWP的理解

BCWS、BCWP、ACWP的理解举例：某土方工程总挖方量为 4000立方米，计划用10天完成，每天400立方米，预算单价为45元/立方米，该挖方工程预算总费用为180000元。 开工后第7天早晨刚上班时业主项目管理人员前去测量，取得了两个数据：已完成挖方2000立方米，支付给承包单位的工程进度款累计已达120000元。 1、计算BCWP（实际完成工作的预算成本）BCWP ...

原创 几种算法

 几种算法

原创 DNS

sudo apt-get install bind9 dnsutils bind9-docsudo vim /etc/bind/naemd.conf.optionsoptions { directory "/var/cache/bind"; // If there is a firewall between you and nameservers ...

原创 Kernel

1.（BIOS）先启动BIOS基本的输入输出系统，一般保存在主板上的BIOS芯片中。作用：A.负责检查硬件并且；B.查找可启动设备（USB/CDROM/HD）2.（MBR）BIOS找到可启动设备后执行其引导代码——》引导的代码为MBR的前446字节（作用是加载一个比较复杂的引导程序GRUB）；3.(Grub)是现在linux使用的主流引导程序；可以用来引导现在几乎所有OS;/boot/...

原创 tomcat各组件生命周期控制

了解tomcat的同学们都知道，apache搞的模块化开发，如tomcat就定义了一大堆的组件， 各个组件负责的责任不同，但是我们的这些组件的生命周期是怎么进行控制的呢，接下来就分析一下如果实现此功能（GOF的观察者模式）的，好了，不费话了，[code="java"]第一：tomcat定义了一个生命周期的接口Lifecycle.java接口中定义了几个方法public void...

原创 tomcat国际化

tomcat在运行的过程中，不同的国家输出的信息（log信息）是不同的语言，通过以下方法做到的：根据本地化对象来实现，它封装了适用于本地环境的资源。tomcat将一些资源配置信息写入properties文件中，这样便于读取与编辑，如果将所有类的错误信息都写在一个properties文件，优惠导致文件太大，不便于读写。为避免这种情况，tomcat将properties文件按照不同的包进行划分...

原创 tomcat日志系统设计

开门见山吧，这次也拿StandardServer.java类中来说吧！其实tomcat使用了JDK的Logger类来实现的[code="java"]第一：为每一个类健一个日志类的对象如下：private static Log log = LogFactory.getLog(StandardServer.class);LogFactory.java类里的实现过程如下：priv...

原创 编译hbase

配套hadoop2.2.0运用 dev-support/generate-hadoopX-poms.sh 为相应的版本生成pom文件bash -x ./dev-support/generate-hadoopX-poms.sh 0.96.2 0.96.2-hadoop2hadoop@hadoop:/opt/.../hbase-0.96.2$ vim dev-support/genera...

原创 pig将查询翻译为MapReduce作业

wget http://mirrors.cnnic.cn/apache/pig/pig-0.13.0/pig-0.13.0-src.tar.gztar -xvf pig-0.13.0-src.tar.gzhadoop@hadoop:~$ vim .bashrc export ANT_OPTS="-Dhttp.proxyHost=proxy.com -Dhttp.proxyPort...

hive创建hbase外部表

create'hivehbaseStu', 'stu' put'hivehbaseStu', 'row1', 'stu:stuName', 'tom' put'hivehbaseStu', 'row1', 'stu:course', 'english' put'hivehbaseStu', 'row1', 'stu:val', '90' put'hivehba...

原创 【转】pig中各种sql语句的实现

Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。使用pig可以在处理海量数据时达到事半功倍的效果，比使用Java，C++等语言编写大规模数据处理程序的难度要小N倍，实现同样的效果的代码量也小N倍。我们可以在不熟悉map/reduce的情况下使用类似与sq...

原创 ZK记录

登录hadoop@hadoopMaster:~$ zkCli.sh -server hadoopMaster:2181[zk: hadoopMaster:2181(CONNECTED) 0] help[zk: hadoopMaster:2181(CONNECTED) 3] create /zk mydatatestCreated /zk[zk: hadoopMaster:21...

原创 hadoop记录

MapReduce的特征1. 每个分片输入的文件可以比较大。默认64MMap1结果与Map2结果重叠现象？（传统的分布式计算无法解决）方案：Map2与Map2原封不动的把数据传到Reduce；　问题：结果Map啥事没干，Reduce最终累死，　分而治之成为了空谈。最终方案：使用partition把相同key的结果分配到同一个reduce上执行输入文件把切分成...

原创 Performance Tunning

「转自」http://langyu.iteye.com/blog/1341267Performance Tunning 8mins, 44sec TO 3mins, 45sec 硬件级别提高磁盘IO的性能noatime 我为两台slaves server设置了noatime. vi /etc/fstab.map task的平均执行时间减少两秒,这影响硬盘IO...

Chukwa安装

wget http://www.us.apache.org/dist/chukwa/chukwa-incubating-src-0.5.0.tar.gztar -xvf chukwa-incubating-src-0.5.0.tar.gzmvn clean package -Dmaven.test.skip=trueInstallcp chukwa-0.5.0-client.ja...

原创 awk动物

$0代替所有域A.adust 01/99 78923 Afdadf 42 20 9B.bdust 02/99 78923 Bfdadf 43 21 10awk 'BEGIN{print "begin................."}{print $0}END{print "end....................."}' grad.txt大括号内逻辑语句，含赋值等|...

原创 路由Region过程

client路由到正确HRegionServer在HBase中，大部分操作都是在HRegionServer完成的。HResionServer：就是管理要操作的Region。client并不知道HRegionServer管理哪个Region。-ROOT-和.META.：是HBase的两张内置表。 从存储结构和操作方法角度来说，和其它HBase表无区别。只是存重要系统信息——Region的分布情况及每...

配置NFS

sudo apt-get install nfs-kernel-server nfs-common portmap配置/etc/exports文件$ sudo vim /etc/exports在文件最后加入如下内容：{{ /opt/nfs *(rw,sync,no_root_squash)}}nfs允许挂载的目录及权限在文件/etc/exports中进行了定...

配置FTP

sudo apt-get install vsftpdisten=YES # 服务器监听anonymous_enable=YES # 匿名访问允许local_enable=YES # 本地主机访问允许write_enable=YES # 写允许anon_upload_enable=YES# 匿名上传允许，默认是NO，嫌麻烦的可以开起来...

原创 shc加密

shc-3.8.6.tgzmkdir -p /home/hadoop/shcsudo mkdir /usr/local/man/man1/tar -zvxf shc-3.8.6.tgz -C /home/hadoop/shc && cd /home/hadoop/shc/shcshc-3.8.6make testmake stringsmake inst...

原创 HBase实现分页核心代码

Scan scan = new Scan();scan.setStartRow(getBytes(startRow));scan.setStopRow(getBytes(stopRow));scan.setCaching(1000);scan.setCacheBlocks(false);ResultScanner scanner = table.getScanner(sca...

原创 Linux 下 C 编程

sudo apt-get install vimsudo apt-get install gccsudo apt-get install g++touch hello.cvim hello.c 1 #include<stdio.h> 2 3 #include<stdlib.h> 4 5 int main(int argc,...

原创 【转】ubuntu命令安装内核源码及升级内核源码

http://blog.chinaunix.net/uid-20672257-id-3239246.htmlubuntu命令安装内核源码 sudo apt-get install linux-source 会自动安装当前版本内核的源代码到 /usr/src 升级内核源码：　　1.将下载过来linux源代码包（tar.bz2包）解压到/usr/src下。如果你还不知...

原创 【转】expect语法基础： while、for 循环、if 语句的用法示例

==两种for循环的写法for {set i 0} {$i<=10} {incr i} {#i默认增量是1，即等价incr i 1。注意这个反括号一定要写在这行行末：args: should be "for start test next command".........................}Q：能不能改为i为我指定的几个数就好。比如我指定i为 3 5 6...

原创 【转】expect用法

1. ［#!/usr/bin/expect］ 这一行告诉操作系统脚本里的代码使用那一个shell来执行。这里的expect其实和linux下的bash、windows下的cmd是一类东西。 注意：这一行需要在脚本的第一行。 2. ［set timeout 30］ 基本上认识英文的都知道这是设置超时时间的，现在你只要记住他的计时单位是：秒 。timeout -1...

原创 Xmind for linux

Xmind for linux 下载：http://dl2.xmind.net/xmind-downloads/xmind-linux-3.4.1.201401221918_amd64.deb破解：1.下载文件覆盖plugins目录下对应文件2.点击菜单【帮助】》【序列号…】3.注册信息随便填，点击按钮【确定】 ...