- 博客(20)
- 收藏
- 关注
转载 深度分析Twitter Heron
转载longda对twitter heron的分析,包括跟storm、jstorm的对比,原文网址http://www.longda.us/?p=529深度分析Twitter Heron发表于2015 年 06 月 04 日由longda如果有转载, 麻烦保留原始链接?http://www.longda.us/?p=5292015年6月1号, Twi
2015-11-17 09:57:16
890
转载 hive技术简介
最近接手的一个产品里面涉及到Hive,其实就是出数据报表的时候用到一句Hive QL,组员里面没有熟悉这个的,只是Hive QL写出来了,涉及如何优化、查询原理之类深入一点的就的都不了解了。需要快速入门,大概了解原理,网上找到一篇介绍,对hive ql执行过程分析的比较透彻,转载了下。我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hi
2015-09-08 17:50:28
775
转载 有关linux下redis overcommit_memory的问题
redis使用中实际遇到过这个问题,转载下方便以后查询背景 公司的redis有时background save db不成功,通过log发现下面的告警,很可能由它引起的:[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail u
2015-08-21 17:54:03
572
转载 Apache Thrift - 可伸缩的跨语言服务开发框架
在看storm源码的时候,读到storm中用到的最底层的数据结构storm.thrift的时候,想去了解下thrift,这篇文章能对thrift的使用有个大概的了解,顺手转载了下。原文地址http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/index.htmlApache Thrift - 可伸缩的跨语言服务开发框
2015-08-04 15:40:50
695
原创 jvm运行时的数据区域
有些是jvm启动的时候被创建,jvm退出时被销毁,剩下的是伴随着线程的,线程创建时被创建,线程退出时被销毁。1.PC寄存器(program counter register)在任何一个时刻,一个jvm线程都只能执行一个方法,如果这个方法不是本地方法,pc register就保存的现在正在被执行的方法的jvm指令地址,如果是本地方法,就没有定义。是唯一的一个在java虚拟
2015-07-06 10:31:45
646
原创 storm-kafka常见问题(更新中)
1.报zookeeper NoNode for /brokers/topics/topic_test/partitions,就是说DynamicBrokersReader.getNumPartitions()里面,topicBrokersPath这个路径在zookeeper里面找不到,topicBrokersPath = _zkPath + "/topics/" + _topic +
2015-05-19 14:24:18
1942
转载 linux的zero copy
许多web应用都会向用户提供大量的静态内容,这意味着有很多data从硬盘读出之后,会原封不动的通过socket传输给用户。这种操作看起来可能不会怎么消耗CPU,但是实际上它是低效的:kernal把数据从disk读出来,然后把它传输给user级的application,然后application再次把同样的内容再传回给处于kernal级的socket。这种场景下,application实际上只是作为
2015-04-27 16:47:58
675
原创 jstorm部署
普通部署192.168.16.8, 192.168.16.9,192.168.16.10为例一.Zookeeper1.下载zookeeper下载地址http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/ 2.解压到/home/hadoop/tar -zxvfzookeeper-3.4.6.tar.gz
2015-04-21 09:54:05
1481
转载 (转)深刻理解Linux进程间通信(IPC)
深刻理解Linux进程间通信(IPC)0. 序1. 管道1.1. 管道概述及相关API应用1.2. 有名管道概述及相关API应用1.3. 小结1.4. 参考资料2. 信号(上)2.1. 信号及信号来源2.2. 信号的种类2.3. 进程对信号的响应2.4. 信号的发送2.5. 信号的安装(设置信号关联动作
2015-04-20 17:57:31
1428
原创 java并发编程(一)类、接口和方法
多核的时代,所以面向多核编程很重要,所以java的并发跟多线程的开发就很重要。1.线程池WHY:复用线程,可以降低创建线程的开销,因为在线程执行结束后执行回收操作,不是真正去销毁线程。TestThreadPool.java,本地环境测试,线程中执行很简单,创建线程的开销占整个时间的比例较大,100000次运算的时候,ThreadPoolExecutor:Thread
2015-04-06 11:58:42
1347
原创 (场景)kafka的topic多分区的情况,如何保证跨区的消息消费的顺序性
这个问题严格来说是肯定有的,kafka只能保证分区内的有序性。如果one partition -> one consumer的话,就没这样的问题,但失去了并行。如果N partition-> M consumer,1.N2.N>M,这种情况,如何去消费多个partition的,kafka的消费机制要去研究下
2015-03-24 11:49:09
16264
转载 Kafka的Log存储解析
Kafka的Log存储解析标签(空格分隔): kafka引言Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和pa
2015-01-28 11:16:52
629
原创 storm性能优化(二)
1.异地机房的情况压力主要在传输(1)控制应用在一个机房(2)增大batch的size和轮询时间, 一次传输更多的内容(3)压缩内容
2015-01-21 11:45:20
1121
原创 storm启动问题解析Storm conf is not valid. Must be json-serializable
[hadoop@node3 jstorm-logs]$ jstorm jar /home/hadoop/work/topology-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.chinamobile.jstrom.topology.BusinessBillTopology /data/MM_CDR /home/hadoop/sftp/60805/res
2015-01-07 13:35:42
2922
原创 kafka-storm spout拉取数据问题offset out of range(todo)
问题[WARN 2014-12-29 20:40:52 KafkaUtils:185 ASpout:3-MultipleThreadSpoutExecutors] Got fetch request with offset out of range: [232]; retrying with default start offset time from configuration. conf
2014-12-30 09:14:09
5858
原创 storm优化topology思路
细分spout/bolt。使其更贴近分布式,对不同的component灵活分配资源。对于grouping,尽量采用localgrouping,减少网络传输。localgrouping可以实现数据尽量在进程内传输,降低网络带来的开销。spout端优化,假如在topology中,处理瓶颈在spout端,而且你又不能增加spout的数量,可以试试修改spoutWaitStrate
2014-12-12 13:50:04
1542
原创 storm日志处理坑1
1.处理的日志前后有依赖的话,在分布式系统中,容易导致数据的不一致例:分钟级别的日志文件,要输出小时级别的统计结果的话,spout->calBolt->outputBolt在calBolt处理时间不一样,导致到outputBolt的顺序和spout有不一样的,就会发生错序的问题2.选用的netty同步通信机制,有可能java NIO 不同进程会发生通信死锁会在fail之
2014-12-12 11:45:46
1808
原创 Netty待解决问题
1.[WARN 2014-12-08 14:05:19 NettyClientSync:234 client-schedule-service-8] Long time no response of i-18-213-VM/10.161.0.9:6805, 33213s[WARN 2014-12-08 14:05:20 NettyClientSync:234 client-schedu
2014-12-08 14:43:45
550
原创 storm的tuple不丢失保证
1.IBasicBolt Vs IRichBoltIBasicBolt 中对应的BasicOutputCollector implement IBasicOutputCollector,接口没对外提供ack,fail,在BasicOutputCollector 的emit的时候,会自动有to anchor的tuple。IRichBolt中对应的OutputCollector imple
2014-12-04 16:11:38
592
原创 kafka入门1-集群生产消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic topic1,报下面的错[2014-12-02 14:16:21,565] ERROR Producer connection to localhost:9092 unsuccessful (kafka.producer.SyncProducer)java.
2014-12-02 15:51:47
8344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人