- 博客(400)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Spark1.1.0 Spark Programming Guide
Spark Programming GuideOverviewLinking with SparkInitializing SparkUsing the ShellResilient Distributed Datasets (RDDs)Parallelized CollectionsExternal DatasetsRDD OperationsBasicsPa
2014-09-15 12:47:08
5231
原创 Spark1.1.0 Quick Start (link)
Quick StartInteractive Analysis with the Spark ShellBasicsMore on RDD OperationsCachingStandalone ApplicationsWhere to Go from HereThis tutorial provides a quick introduction to using Sp
2014-09-15 12:45:43
2874
原创 Spring SpringMvc 406 Not Acceptable
406 Not Acceptable缺少转换依赖的jar包，设置了@ResponseBody,要把对象转换成json格式。解决方法：pom.xml文件增加 org.codehaus.jackson jackson-core-asl 1.8.9 org.codehaus.jackson jackson-mapper-asl 1.8.9
2014-09-15 12:41:57
3810
原创 Solr/SolrCloud -error
2014-08-20 10:46:22,356 INFO [coreZkRegister-1-thread-1] [org.apache.solr.cloud.ShardLeaderElectionContext] - Was waiting for replicas to come up, but they are taking too long - assuming they won't c
2014-08-20 10:55:42
5565
1
原创 Mesos-error
1,configure: error: cannot find libcurl解决 yum install curl-devel
2014-08-01 17:27:40
1525
转载 Join Optimization in Apache Hive
Join Optimization in Apache Hive由 Liyin Tang 于 2010年12月15日下午 12:04 发布With more than 500 million users sharing a billion pieces of content daily, Facebook stores a vast amount of data, and ne
2014-07-18 12:54:37
2060
原创 KAFKA
https://cwiki.apache.org/confluence/display/KAFKAPagesIndexSkip to end of metadataAttachments:1Added by Alan D. Cabrera, last edited by Neha Narkhede
2014-07-15 00:10:32
1879
1
原创 Hbase0.96源代码之HMaster(三)Hmaster主要循环
1，Master初始化1.1 if (!this.stopped) { finishInitialization(startupStatus, false); loop(); }1.2 finishInitialization()，这里主要完成master组件components：filesystem manager，servermanager，assig
2014-05-21 02:02:08
1500
原创 Hbase0.96源代码之HMaster(二)Hmaster主要循环becomeActiveMaster
1，Hmaster主循环主要这里主要有：1,1 becomeActiveMaster(startupStatus);1.2 finishInitialization1.3 loop（） becomeActiveMaster(startupStatus); // We are either the active master or we were asked to shut
2014-05-20 02:55:59
3503
原创 Hbase0.96源代码之HMaster(一)
从main（）函数开始 public static void main(String [] args) { VersionInfo.logVersion(); new HMasterCommandLine(HMaster.class).doMain(args); } public void doMain(String args[]) { try {
2014-05-18 03:23:40
3304
1
原创 hbase0.96 put流程 源代码分析
无意间多瞄了一眼hbase0.98的代码，想复习下put流程，发现htable里面已经找不到processBatchOfPuts（）奇怪了。看了半天原来变化还真大其实0.96就没这个了，于是又搞了个0.96的代码看看之前有篇可以对比差异，请转移至：http://blog.csdn.net/luyee2010/article/details/8435739 不过排版太乱将就看吧！HTab
2014-05-14 00:47:07
2772
原创 scala编程笔记（三）类，字段和方法
类是对象的蓝图，可以通过new来创建对象，在类的定义里可以有字段和方法，统称memberval还是var都是指向对象的变量（var定义的字段可重新赋值），def定义方法，包含可执行代码class ScalaSingleton { var sum = 0;}这里定义类之后可以用了def main(args: Array[String]) { val sin
2014-04-19 23:45:11
2164
原创 scala编程笔记（2）List-Tuple-set-map
使用类型参数化数组先来段代码： //val greeting:Array[String] = new Array[String](3) val greeting = new Array[String](3) greeting(0) = "hello" greeting(1) = "," greeting.update(2,"World") for(i - 0
2014-04-17 01:08:54
4992
原创 scala编程学习笔记（一）变量定义函数定义
变量定义：val:类似java中final类型的变量1，基本格式：val 变量名：变量类型 = 值2，其中有时变量类型可以省略，可以自动识别3，变量不能赋值，修改var :等同于java中的非final型变量val msg: java.lang.String = "Hello World String"println("msg: " +msg)var msgVar: ja
2014-04-16 01:17:52
12631
原创 Netty3.5.9源码（一）Server端启动
ServerBootstrap创建1，构造一个NioServerSocketChannelFactory来，初始化ServerBootstrap2，构造一个ChannelPipelineFactory，给ServerBootstrap设置ChannelPipelineFactory3, 绑定端口，接受client端连接过来的请求。 public void run() {
2014-04-04 01:00:27
4930
1
原创 eclise中启动Hbase的Hmaster，玩玩shell
首先master:参数：运行 hbase shellhbase shell参数运行起来后hbase的shell跑几个命令试试发现可以了：create 't_person','no','name'create 't_person','no','name'0 row(s) in 2.5020 secondsHbase::Ta
2014-03-30 02:47:07
1688
原创 Logstash+Redis+Elasticsearch+Kibana 快速搭建Nginx日志查询系统
Logstash+Redis+Elasticsearch+Kibana Nginx日志查询系统环境elasticsearch-0.90.5.zipkibana-latest.zipredis-2.6.16.tar.gzlogstash-1.2.2-flatjar.jarnginx.conf配置log_format main '$remote_addr - $rem
2014-03-28 18:29:56
19041
4
原创 Flume 收集Nginx日志 tail-to-avro avro-to-file
tail-to-avroagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure spooldir source1#agent1.sources.source1.type = spooldir#agent1.sources.source1.spoolDir =
2014-03-26 13:46:56
7370
4
原创 Flume 收集Nginx日志到Hdfs Tail-to-hdfs sink
nginx，access.log日志约8000条/s，每100w条数据约253M,需要2minagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure spooldir source1#agent1.sources.source1.type = spoold
2014-03-26 11:04:15
6441
2
原创 clojure基础教程(一)
clojure 基础教程1，";"号开头表示注释user=> ;表示注释user=>2,对应Java的String类型user=> (str "str")"str"user=> (str "str" 'hah' "clojure world")"strhah'clojure world"user=> (str "hello" "clojure World")"h
2014-03-18 00:13:55
4497
原创 Eclipse使用技巧
eclipse中批量替换代码，原始代码（这里有n个方法都调用了this.sourceCode(),一个一个添加太繁琐了！） public void test1(){ this.sourceCode(); } public void test2(){ this.sourceCode(); } public void testn(){ this.sourceCode(); }
2014-03-05 10:36:01
1244
原创 sonar
[ERROR] Failed to execute goal org.codehaus.mojo:sonar-maven-plugin:2.1:sonar (default-cli) on project video.parent: Can not execute SonarQube analysis: The current batch process and the configured re
2014-02-26 18:10:42
4914
原创 Netty源代码之FrameDecoder
FrameDecoder说白了是解码器，可以将网络数据一帧一帧地解码出来主要看起messageReceived public void messageReceived( ChannelHandlerContext ctx, MessageEvent e) throws Exception { Object m = e.getMessage();
2014-02-24 19:43:29
2717
原创 Redis need tcl 8.5 or newer
hadoop@stormspark:~/workspace/redis2.6.13/src$ make testYou need tcl 8.5 or newer in order to run the Redis testmake: *** [test] Error 1wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.g
2014-01-25 13:48:46
62123
7
原创 Flume-Kafka-Storm 整合实例
启动Topology作为Kafka的comsumerbin/storm jar storm-kafka-App-0.1.0-SNAPSHOT-jar-with-dependencies.jar com.exec.storm.kafka.KafKaSpoutTopologyTest 192.168.137.10:2181启动flume-kafka的producerbin/flume
2014-01-24 15:39:24
10090
9
原创 Redis命令zrange,zrangebyscore,zrevrank,zremrangebyscore
zrange:索引的范围检索（withScores）redis 127.0.0.1:6779> zadd ss 12 a(integer) 0redis 127.0.0.1:6779> zadd ss 5 b(integer) 1redis 127.0.0.1:6779> zadd ss 1000 c(integer)zrangeredis 127.0.0.1:6779>
2014-01-24 15:28:36
11839
原创 Storm Found multiple defaults.yaml resources
运行storm-kafka应用程序的的时候报了这个错这个想了下，肿么会有多个呢，后面觉得应该是在应用的jar包里面也把storm的defaultsyarm打进去了。找了下只看到 storm storm 0.9.0
2014-01-18 17:55:15
12277
原创 flume-ng-extends
这个可以taildir文件，监听文件目录写入事件，只要往这个目录写入文件就能触发首先需要flume-ng-extends：从获取源代码 https://github.com/jinoos/flume-ng-extends，maven编译打包将flume-ng-extends-0.0.1-SNAPSHOT.jar,另外还要下载commons-vfs2-2.0.jar这个jar包（这个不然
2014-01-17 20:31:22
3110
1
原创 Maven Error
现象：在maven打包构建的时候出现这个，导致构建单元测试失败，但是只是跑个testng是可以的getKeyAll(com.exec.NewTest):org.testng.ITestNGMethod.getConstructorOrMethod()Lorg/testng/internal/ConstructorOrMethod; 解决：更换testng的版本： testng
2014-01-16 16:02:02
1255
原创 Kafka与FlumeNG整合
1，作为Producer的Flume端配置，其中是以netcat为source数据源，sink是kafkahadoop@stormspark:~/bigdata/apache-flume-1.4.0-bin$ cat conf/producer1.properties #agent sectionproducer.sources = sproducer.channels = cprod
2014-01-15 20:12:09
12721
3
原创 KafKa error
1，java.nio.channels.UnresolvedAddressException这个是由于hostname 导致的
2014-01-14 09:41:18
5585
原创 Kafka0.8
启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties启动kafka serverbin/kafka-server-start.sh config/server.properties创建topicbin/kafka-create-topic.sh --zookeeper localhos
2014-01-03 20:20:43
2371
原创 maven工程单元覆盖率
pom.xml配置 org.codehaus.mojo cobertura-maven-plugin clean org.apache.maven.plugins maven-surefire-plugin
2013-12-30 11:02:53
1074
原创 JedisPool使用原理及源代码
JedisPool的使用 public String set(String key, String value) { Jedis jedis = null; boolean success = true; try { jedis = this.pool.getResource(); return jedis.set(key, value); }catch (Jedi
2013-12-26 12:37:20
48061
2
原创 common-pool连接池GenericObjectPool源代码
package org.apache.commons.pool.impl;import java.util.ArrayList;import java.util.Collection;import java.util.Iterator;import java.util.LinkedList;import java.util.List;import java.util.NoSuchEl
2013-12-26 12:31:00
6740
1
原创 使用JedisPool来连接Twemproxy
这里主要是配置的问题： 这里的配置testOnBorrow只能配置为false 否则会报错Caused by: java.util.NoSuchElementException: Could not create a validated object, cause: ValidateObject failedat org.apache.commons.pool.im
2013-12-20 19:28:36
16361
8
原创 storm实战 A Real-life EXample
1，install zeromq期间可能出现：configure: error: cannot link with -luuid, install uuid-dev. 因此可以先安装sudo apt-get install uuid*sudo apt-get install libtoolwget http://download.zeromq.org/zeromq-2.2.0.t
2013-12-02 09:35:39
3328
原创 mahout转
1，wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data hadoop fs -mkdir testdatahadoop fs -put synthetic_control.data testdatahadoop fs -lsr testdata
2013-11-27 19:41:17
1265
原创 facebook presto安装与配置 CDH4.4
prestohttp://www.dw4e.com/?p=141http://blog.csdn.net/u012417026/article/details/14516631confhadoop@yard02:~/bigdata/presto-server-0.52/$ tar zxvf presto-server-0.52.tar.gzhadoop@yard02:~/bi
2013-11-20 20:06:48
7304
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人