2014年09月_KingBoxing

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Pattern正则

nginx的日志经常是用引号把字段抱起来，如下：['UfaNode" "10.4.3.175" "10.4.1.51:31002" "[18/Sep/2014:13:00:01 +0800]" "0.110" "0.110" "-" "200" "Ok" "163" "102400" "xiaomi" "thumbnail" "-" "POST /ufa_new/downloadBlock H

2014-09-25 17:33:31 656

原创 flume连接metaQ传数据到spark进行实时计算

以前我们在使用hadoop的时候，都是使用s

2014-09-25 17:15:42 2625

原创 Cloudera Manager5 和 CDH5安装问题记录

本文并不是完全教程，而是记录我在用CM5安装CDH5过程中遇到

2014-09-19 21:13:56 2855

转载 Cloudera Manager 和 CDH 4 终极安装

系统环境　　操作系统：CentOS 6.5　　Cloudera Manager 版本：4.8.1　　CDH版本：4.5.0各机器准备工作：　　yum -y groupinstall "Development tools"　　yum -y install wget Cloudera-manager压缩包地址：　　 http://archiv

2014-09-16 15:35:14 898

原创 CDH5安装之：打通主节点到其他节点的ssh

打通两台机器的ssh功能打通两台机器的ssh功能主要方便每次登录时候不用每次都需要输入密码，对于多台服务器这已经是必备了 www.2cto.com 前提：机器需要安装ssh，详细安装可以网上搜一下 (一).在本机生成公钥 cd ~ ssh-keygen -t dsa 注意： 1.ssh-keygen 是一个整体命令,

2014-09-16 14:41:13 2025

转载 Hadoop集群上使用Lzo压缩

转载地址：http://www.tech126.com/hadoop-lzo/自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以，当时就直接采用了Gzip压缩的方式关于Lzo压缩，twitter有一篇文章，介绍的比

2014-09-15 18:35:54 2852

转载 flume-ng与flume-og对比

转载地址：http://www.ibm.com/developerworks/cn/data/library/bd-1404flumerevolution/index.html背景Cloudera 开发的分布式日志收集系统 Flume，是 hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flume

2014-09-15 17:06:08 3915

转载 Hadoop日志到底存在哪里？

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结Hadoop MapReduce日志存放位置，帮助初学者定位自己遇到的错误。Hadoop MapReduce日志分为两部分，一

2014-09-05 11:39:46 684

转载 Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode

转载地址：http://www.aboutyun.com/thread-6799-1-1.html正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理：Secondary NN会定期的从NN中读取edit

2014-09-04 20:44:21 1061

转载 hadoop mr的一些文件归属（包括临时文件的存储情况）

转载地址：http://blog.csdn.net/bxyz1203/article/details/8057810#comments一、概述一个计算的流程如下图所示，对于一个简单的wordcount的计算中，总共要经历哪些文件呢？本文将详细探讨这个话题。文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article

2014-09-04 17:18:42 904