2014年01月_Jonathan-Wei

12月 10月 09月 08月 04月 01月

原创【Apache Storm系列之四】Storm Topology生命周期【翻译】

前阵子写的文章大部分都是以实践为主，接下来我们来看下Topology生命周期，也就是实现流程这层的东西；

2014-01-26 15:23:30 3826

原创【Apache Storm系列之五】Stream Grouping：不同组件之间的tuples传递

在详细讲解Storm不同组件之间的tuples传递之前，我们先看下我们的结构图从上面的结构图，我们可以看到。一个topology是spouts和bolts组成的图，而Spout与Blot以及Blot与Blot之间的传递是通过Stream Grouping来完成的。定义一个topology的其中一步是定义每个bolt接收什么样的流作为输入。stream grouping就是用来定义一

2014-01-17 16:51:20 6502

原创【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典

之前写的Apache Solr只介绍了简单的搭建以及导入数据等功能，最近由于项目要求，添加索引分词和搜索分词功能；分词的项目有包括好几个：

2014-01-16 15:05:43 7473

原创【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

技术交流群：59701880 深圳广州hadoop好友会微信公众号：后续博客的文档都会转到微信公众号中。一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有...

2014-01-15 09:59:05 47911 31

原创【Apache KafKa系列之一】KafKa安装部署

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中

2014-01-10 10:37:50 29261

原创【Apache Storm系列之二】Storm-0.9.0.1版本安装部署

Twitter Storm更新0.9.0.1之后，安装部署变得容易得多了，比起Storm0.8.x的版本，Storm少了zeromq和jzmq的安装，也省去了很多编译这些插件时出现的bug。

2014-01-03 11:32:22 16185 3

HttpClient4.2.5上传文件，无中文文件名乱码问题

HttpClient4.2.5实现文件上传，无中文文件名乱码问题。亲测无问题。有问题可吐槽！

2013-07-15

hadoop-1.0.4 ecipse插件（并解决0700问题）

hadoop1.0.4插件，本人亲测可行，同时解决0700问题，不过你在自己的安装笨笨中也需替换解决0700的hadoop-core-1.0.4.jar，要保持客户端、服务端以及插件的版本一直才行，要不然会出现一些版本不一致导致的问题。

2012-12-23

解决hadoop 0700Bug 的hadoop-core-1.0.4.jar

该jar包解决了hadoop-1.0.4中的0700问题 ERROR security.UserGroupInformation:PriviledgedActionException as:admin cause:java.io.IOException:Failed to set permissions of path:\home\hadoop\hadoop-1.0.4\data\data\mapred\staging\admin1107758487\.staging to 0700 Execption in threa "main" java.io.IOException:Failed to set permissions of path:\home\hadoop\hadoop-1.0.4\data\data\mapred\staging\admin1107758487\.staging to 0700 at org.apache.hadoop.fs.FileUtil.checkRetrunVlues（FileUtil.java:682） at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java.655)

2012-12-23

hadoop-eclipse-1.0.4.jar eclipse插件

自己编译的hadoop eclipse插件jar包，实验了可用！

2012-12-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 【Apache Storm系列之四】Storm Topology生命周期【翻译】

原创 【Apache Storm系列之五】Stream Grouping：不同组件之间的tuples传递

原创 【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典

原创 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

原创 【Apache KafKa系列之一】KafKa安装部署

原创 【Apache Storm系列之二】Storm-0.9.0.1版本安装部署