- 博客(4)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 用hive+hdfs+sqoop分析日志的步骤
现在的部分工作是进行日志分析，由于每天的日志压缩前80多G左右，用lzop压缩后10G左右，如果用shell直接进行统计，需要花费很长时间才能完成，而且还需要用java函数对request url进行转换，于是采用hive+hdfs+sqoop方案进行日志统计分析hadoop+hive+hdfs+sqoop的架构就不详细说了，可以直接用cloudera的repo直接安装 日志分析步骤
2011-12-28 13:51:58
891
转载 secondnamenode详解
光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 snn
2011-12-28 11:14:18
3276
转载 使用cloudera CHD3u1 —— 使用eclipse plugin提交Job
转自：http://heipark.iteye.com/blog/1178810 Clouder CDH3B3 开始后hadoop.job.ugi不再生效，这意味着无法通eclipse plugin提交job和修改hdfs。大家初次使用hadoop eclipse plugin一定在修改HDFS文件过程中出现过下面的错误org.apache.hadoop.securit
2011-12-26 18:25:45
806
转载 Hadoop权限管理
摘自：http://dongxicheng.org/mapreduce/hadoop-permission-management/1. 介绍本文介绍的Hadoop权限管理包括以下几个模块：（1） 用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等（2） 作业管理。包括作业提交
2011-12-26 16:22:33
1966
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人