- 博客(19)
- 资源 (31)
- 收藏
- 关注
RSS订阅转载 [MapReduce] 如何向map和reduce脚本传递参数,加载文件和目录
本文主要讲解三个问题： 1 使用Java编写MapReduce程序时，如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何向map、reduce脚本传递参数。 3 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何
2014-04-28 21:30:03
7070
转载 HDFS中文件的压缩与解压
文件的压缩有两大好处：1、可以减少存储文件所需要的磁盘空间；2、可以加速数据在网络和磁盘上的传输。尤其是在处理大数据时，这两大好处是相当重要的。 下面是一个使用gzip工具压缩文件的例子。将文件/user/hadoop/aa.txt进行压缩，压缩后为/user/hadoop/text.gz
2014-04-21 17:10:37
6037
1
转载 Mapreduce中的RCFile输出RCFileOutputFormat实现及其应用
自定义实现RCFileOutputFormat.java 1.import java.io.IOException; 2. 3.import org.apache.Hadoop.conf.Configuration; 4.import org.apache.hadoop.fs.FileSystem; 5.import org.apache.hadoop.fs.P
2014-04-21 10:43:02
1123
转载 Apache kafka原理与特性(0.8V)
前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka.
2014-04-18 17:16:31
984
原创 kafka 学习笔记
集群搭建：修改 broker.id 为不同的值0 ，1 ，2 。。。host.name 设置IP 供连接使用zookeeper.connect 设置 zk 地址 注意：zk地址设置是可以为 172.17.44.176:2181,172.17.44.178:2181,172.17.44.180:2181,172.17.44.184:2181,172.17.44.192:2181/k
2014-04-18 17:13:32
1953
转载 Kafka发送消息到HDFS
本文采用的是kafka0.7.2，安装好kafka后在kafka的contrib目录下有关于kafka与hadoop的一系列文件，我们可以使用hadoop-consumer目录下的脚本及配置文件将kafka中某topic的信息发送到HDFS中。1.修改test目录下的test.properties的配置文件。kafka.etl.topic：topic的名称hdfs.defaul
2014-04-16 17:10:03
4116
转载 MetaQ技术内幕——源码分析(八)
上一篇以及上上篇基本介绍了MetaQ如何使用Gecko框架在网络上传输数据，今天将继续进一步介绍在Broker，各种命令的处理逻辑（暂时将不涉及到事务处理）。依旧是在MetaMorphosisBroker的registerProcessors()方法中，我们可以注意到一点，每个Processor的实例在构造的时候都注入了一个brokerProcessor的变量，该变量的类型为CommandPr
2014-04-11 14:00:32
1310
转载 MetaQ技术内幕——源码分析(七)
前面介绍了Broker在网络传输过程中使用的数据结构，同时也介绍了MetaQ使用了Gecko框架作为网络传输框架。有人会问，Gecko什么调用MetaEncodeCommand的encode()方法，让命令变成可见的明文在网络传输，Gecko又在什么时候将网络传输的数据包装成一个个Command对象？或许有人已经注意到了笔者在介绍Broker启动类MetaMorphosisBroker的时
2014-04-11 13:59:45
1149
转载 MetaQ技术内幕——源码分析(六)
前几天不小心茶水泼到了笔记本上，这两天才修好，就赶紧写上一篇。前面介绍过MetaQ使用gecko框架作为网络传输框架，Gecko采用请求/响应的方式组织传输。MetaQ依据定义了请求和响应的命令，由于命令Client和Broker均需要使用，所以放在了common工程的类MetaEncodeCommand中：Java代码 public String GET
2014-04-11 13:58:50
915
转载 MetaQ技术内幕——源码分析(四)
前面，我们已经把Broker存储最重要的一个类具体分析了一遍，接下来，我们分析一下其删除的策略。前面介绍过Messagestore采用的多文件存储的组织方式，而存储空间不可能无限大，得有一定的删除策略对其进行删除以腾出空间给新的消息。MetaQ允许自定义删除策略，需要实现接口DeletePolicy，默认提供了两种删除策略：过期删除（DiscardDeletePolicy）和过期打包删除（Ar
2014-04-11 13:57:40
1316
转载 MetaQ技术内幕——源码分析(三)
前面忘了先介绍一下Broker消息存储的组织方式，我们前面知道了一条消息属于某个Topic下的某个分区，消息存储的组织方式是按照此方式进行组织的，结构图如下：所以对于每个Topic而言，分区是最小的元素，对外API主要由MessageStore提供，一个MessageStore实例代表一个分区的实例，分区存储具体的内容。在MetaQ中，分区的存储采用的多文件的方式进行组合，即M
2014-04-11 13:56:44
1853
1
转载 MetaQ技术内幕——源码分析(二)
消息，是MetaQ最重要的资源，在分析MetaQ之前必须了解的概念，我们所做的一切都是围绕消息进行的，让我们看看MetaQ中消息的定义是怎样的，MetaQ的类Message定义了消息的格式：Java代码 public class Messageimplements Serializable { private long id;//消息的ID
2014-04-11 13:49:13
2011
2
转载 MetaQ技术内幕——源码分析(一)
笔者最近在业务上需要使用到MetaQ，也借此阅读了MetaQ的相关源码，准备分享MetaQ源码分析。先扫扫盲，如果读者对MetaQ已经较为熟悉，可以跳过下一段落。一、MetaQ简介MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，
2014-04-11 13:47:13
1483
转载 MetaQ技术内幕——源码分析(五)
Broker接收从Producer(Client端)发送的消息，也能够返回消息到Consumer(Client)，对于Broker来说，就是网络输入输出流的处理。Broker使用淘宝内部的gecko框架作为网络传输框架，gecko是一个NIO框架，能够支持一下特性：1、 可自定义协议,协议可扩展、紧凑、高效2、 可自动管理重连，重连由客户端发起3、 需进行心跳检测，及时发现连接失效
2014-04-11 13:44:21
1019
转载 Storm之trident序列化问题
在使用Storm的trident做流计算开发时，遇到一个诡异的问题：我继承IPartitionedTridentSpout或者IOpaquePartitionedTridentSpout接口做事务型实时计算的开发，类型T通常是用来每个批次序列化到ZK中的偏移量。我遇到的问题是：只要实时应用启动后不终止，每个批次发送的消息的偏移量都是接着上一个批次消息的偏移量继续向后移动的。但是只要应用终止后重
2014-04-09 22:15:54
867
转载 Storm 0.9.0中trident的Spout接口变化
在Storm 0.9.0中trident的Spout接口稍有变动，以IPartitionedTridentSpout为例，在0.9.0之前是IPartitionedTridentSpout，之后变成IPartitionedTridentSpout< Partitions, Partition extends ISpoutPartition, T > T是序列化到ZK中用于中间状态存储的，通
2014-04-09 22:15:19
1002
转载 Storm事务型(transactional)spout介绍（二）
接下来再介绍一下IOpaquePartitionedTransactionalSpout。前面说到IPartitionedTransactionalSpout在极罕见的情况下会卡住。而IOpaquePartitionedTransactionalSpout为了解决这个问题，它不保证每次重发一个批次的消息所包含的tuple完全一致。也就是说某个tuple可能第一次在txid=2的批次中出现，后面有可
2014-04-09 22:11:53
1384
转载 Storm事务型(transactional)spout介绍（一）
针对目前主流的消息中间件都有分区的概念，Storm专门提供了backtype.storm.transactional.partitioned包。这里主要介绍一下IPartitionedTransactionalSpout和IOpaquePartitionedTransactionalSpout这两个接口。如果使用Storm 0.8之后版本的Trident新特性，对应的有storm.trid
2014-04-09 22:11:17
1748
转载 Storm之trident聚合操作介绍
Trident主要有5类操作：1、作用在本地的操作，不产生网络传输。2、对数据流的重分布，不改变流的内容，但是产生网络传输。3、聚合操作，有可能产生网络传输。4、作用在分组流（grouped streams）上的操作。5、Merge和join这里主要介绍一下3和4，希望对大家有所帮助，如有错误请指正！首先说几个名词：Partition：在Storm中并发的最小执
2014-04-09 22:08:34
1208
Oracle知识库
2012-10-24
Java 优化编程
2012-08-07
Oracle调优心得
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人