![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
apache
文章平均质量分 79
chlaws
希望身体健康
展开
-
自定义Apache日志格式
<br />转自:http://huqilong.blog.51cto.com/53638/162321对于站长而言,最关心的当属网站的访问情况了,可能大家平常用得多的都是站点统计,例如51.la,cnzz,Google Analytics等等,却忽略了Apache的access日志!Apache的日志能够详细记录网站的每一个请求,供管理员参考,特别是在网站出现问题的时候,Apache日志文件能提供很多有用的信息,通过分析日志文件,找出网站问题所在。然而Apache默认的日志格式可能并不能满足每一个人的胃口转载 2011-04-21 09:47:00 · 2088 阅读 · 0 评论 -
MapReduce源码分析之MapTask分析(二)
MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据,知道了数据在缓存不下是如何做spill处理的,spill输出的数据格式,combiner如何处理,如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分设计思路,能在未来的设计中提供多一种思路。原创 2014-08-04 22:21:17 · 6423 阅读 · 3 评论 -
MapReduce源码分析之InputSplit分析
前言MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。什么是InputSplit InputSplit是指分片,在MapReduce当中作业中,作为map task最小输入单位。分片是基于文件基础上出来的而来的概念,通俗的理解一个文件可以切分为多少个片段,每个片段包括了等信息。在MapTask拿到这些分片后,会知道从哪开始读取数据。Job原创 2014-04-03 23:15:55 · 13693 阅读 · 2 评论 -
MapReduce源码分析之架构分析1
前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 本篇,将不会涉及代码部分的分析,只是简单分析map的整体架构,并介绍map与reduce的运行过程,主要是为后续的分析做一个铺垫。至于MapTask/ReduceTask的原理分析,JobTracker部分,以及TaskTracker如何启动一个Task这些都将在后续章节给出。MR编程模型原创 2014-04-14 22:24:54 · 5179 阅读 · 2 评论 -
clucene创建IndexSearcher时失败的原因
正在做的搜索改版项目中,使用clucene做全文检索,通过apache接受用户搜索请求,解析后交给clucene去检索,取得结果后,反馈给用户。 在前两天,发现,启动apache时,进行对clucene的初始化都是失败的,用更简单的测试代码去试了下,还是不成功。重建索引到一个新的目录之后,再去尝试,就可以。如果,mv 新的索引目录到为原来失败的索引目录再去尝试,这种情况还是不行的原创 2012-05-17 23:19:44 · 2103 阅读 · 0 评论 -
libeio性能测试
前言: 之前搜了一下,貌似没有关于libeio的读写性能测试的数据,因此直接写了个测试程序去测试下。写的没去试,接口都有,有需要可以自己去填下。关于libeio: 这个是库Marc Lehmann写的,关于这个大牛,有兴趣的可以去搜搜。关于测试: 测试环境我分别用ABC表示,采用随机读取文件中的某个位置开始的一定长度原创 2012-07-10 15:18:03 · 3017 阅读 · 0 评论 -
简述thrift与应用分析
前言 本篇将以thrift-0.9.0为背景讲述thrift的基础,使用案例,启发。概述 thrift是一个软件框架,用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa,JavaScript, Node.js, Sma原创 2013-07-14 21:06:40 · 9998 阅读 · 0 评论 -
两个apache第三方模块冲突
冲突情景 有两个模块分别是mod_city和mod_pfadurl,两者编译成so,如果在http.conf中使用loadmodule 都单独挂到apache中,那么不论是挂哪个到apache中都是可以正常运行,但是如果两者一起挂进apache中则就出现进程fork之后就down掉。apache 动态加载apache mod_so中 dlopen时指定了RTLD_NO原创 2013-03-05 21:20:25 · 3518 阅读 · 0 评论 -
hive部署
前几天部署了个hive,感觉挺简单,稍微记录下。环境:hadoop,hbase都已经装过了,只需要装个mysql就可以装hive了mysql和hive不是必须要装到hadoop master或datanode节点的只要在你部署的那台机器上有hadoop并且这个hadoop的配置能够正确的指向hadoop的master的地址mysql:可以下载个rpm包装上去就可以了,然后可以通原创 2012-06-30 16:24:29 · 3133 阅读 · 2 评论 -
MapReduce源码分析之MapTask分析
前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。 map端的主要处理流程图1 MapTask处理流程 图1所示为MapTask的主要代码执行流程,在MapTask启动后会进入入口run函数,根据是否使用原创 2014-07-13 20:55:13 · 6858 阅读 · 1 评论