- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 2012杭州QCon全球软件开发大会所见所闻所悟
一、概述每次听完一些技术分享，都会写一篇分享，一方面也是我自己对论坛的一些总结，另一方面也是想把我自己的一些感受分享出来，上一篇是《2012年阿里技术嘉年华所见所感所悟》。这真是一个美好的时代，我们能从互联网上学习到这么多好的东西，也能参与这么多好的会议，这次特别感谢InfoQ。我这张票是部门给的，也特别感谢我的领导们。这三天我基本都在听，听了大约21场分享，感受还是比较多的，以下我主要就
2012-10-27 21:12:12
4440
原创 谈谈hadoop日志限制的问题
<!--table {border-spacing:1px; border:1px solid #A2C0DA}td, th {padding:2px 5px; border-collapse:collapse; text-align:left; font-weight:normal}thead tr th {background:#B0D1FC; bo
2012-10-24 17:12:00
6452
原创 hadoop相关的一些技巧
分布式系统比普通程序开发有一些特别的难度，最主要的就是环境问题。本博客将记录怎么去解决这些问题，最主要的是一些脚本。后期会连续更新，目前最主要的技巧有：ssh打通：hadoop在部署的时候，各个机器之间肯定要打通，我们不可能手工去敲每一个命令。所以最好有一个脚本。https://github.com/lwwcl1314/apollo/blob/master/distrubutescri
2012-10-22 22:04:26
4422
原创 HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster
一、问题运行yarn的MR程序，发现出现问题，报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMasterCaused by: java.lang.ClassNotFoundException: org.apache.hado
2012-10-21 14:34:59
23323
4
原创 hadoop2包结构及包功能大致介绍
一、概述hadoop2的设计细想比hadoop1进步了很多，毕竟hadoop1是几年前的东西了。软件设计的理论在这几年中发展很快，出现了很多的软件设计理论 如：领域驱动模型、事件驱动模型、状生命周期管理等，也出现了很多的开源的解决方案，当然开源的方案很多都是起源apache社区。在hadoop2中，采取了maven的工程管理结构，把以前的单一工程换成了多工程结构模式，现在估计有45个（po
2012-10-19 14:29:29
8304
原创 编译hadoop2.0(0.23.0)及运行的一些问题
svn co http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.0.0-alpha xxxlinux： 参考$HADOOP_HOME/BUILDING.txt 及 $HADOOP_HOME/hadoop-mapreduce-project/INSTALL（ps，我开始没有注意这两个文件，所以我以下都是一步一
2012-10-18 20:07:27
8705
1
原创 hadoop mr的数据流程交互简单描述
一、概述文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article/details/8074248。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。二、计算流程MR计算框架发展到1.0.3左右，计算框架没有发展大的变化。在《hadoop The Definitive Guide
2012-10-15 19:06:11
8452
原创 hadoop mr的一些文件归属（包括临时文件的存储情况）
一、概述一个计算的流程如下图所示，对于一个简单的wordcount的计算中，总共要经历哪些文件呢？本文将详细探讨这个话题。文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article/details/8057810。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。本文分析的是0.19.
2012-10-10 20:01:48
11036
1
认识oracle中的sqlnet.ora tnsnames.ora listener.ora三个文件
2009-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人