cdh
天边tbdp
一个码农,从业后端快十载
展开
-
安装cdh4.5工具cloudera manager
我们安装的时候需要官网下载cloudera-manager-installer.bin,然后运行,在安装的过程中,会出现很多问题。如Error Downloading Packages: cloudera-manager-server-db-4.8.1-1.cm481.p0.74.el6.x86_64: failure: RPMS/x86_64/cloudera-manager-se原创 2014-02-28 13:06:25 · 3193 阅读 · 0 评论 -
搭建ganglia集群并且监视hadoop CDH4.6
前言最近在研究云监控的相关工具,感觉ganglia颇有亮点,能从一个集群整体的角度来展现数据. 但是安装过程稍过复杂,相关依赖稍多,故写此文章与大家分享下.本文不讲解相关原理,若想了解请参考其他资料. 本文目的: 即使之前未触过ganglia,也能按照文中步骤搭建自己的ganglia监控集群.@Author duangr@Website http://my.原创 2014-06-19 16:10:12 · 2611 阅读 · 0 评论 -
nutch安装,与solr整合
linux环境下安装ant,svn原创 2014-05-23 17:59:29 · 1420 阅读 · 0 评论 -
hadoop1.x早期mapreduce slot解析
hadoop一个节点默认起两个map slot,请问这两个slot是多线程吗?hadoop-0.21.0 源码中是这样的:首先看看 org.apache.hadoop.mapred.TaskTracker 类:===================================================================原创 2014-05-08 11:53:33 · 1303 阅读 · 0 评论 -
CDH hive的mr架构配置文件的选择
我们都知道hive是在mapreduce基础上运行任务的,那么在用原创 2014-04-08 15:54:43 · 1596 阅读 · 0 评论 -
CDH 4.6 Apache Hadoop的下一代mapreduce,yarn
MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN.MapreduceThe fundamental idea of MRv2 is to split up the two major functional原创 2014-04-06 12:14:23 · 1706 阅读 · 2 评论 -
CDH4.6中的配置文件
在CDH4.6中,我们利用parcels的方式安装cdh,然后cm会自动将cdh的各个tar包解压到/usr/lib/目录下,比如hadoop,hive,hbase,pig,zookeeper等都在这个目录下面,在etc/profile中引入安装位置即可cdh的配置文件位于/etc/conf/hadoop 或者hive,hbase下面,这里的文件都是采用软连接的方式,修改以后,会自动在/opt原创 2014-03-26 00:33:26 · 1376 阅读 · 0 评论 -
hadoop常问问题
hadoop常问问题:1,hadoop的调度机制,2,机架感知,3,MR数据倾斜原因和解决方案,4,集群HA配置5,mapreduce的流程6,如果让你设计,你觉得一个分布式文件系统应该如何设计,考虑哪方面内容;7,每天百亿数据入hbase,如何保证数据的存储正确和在规定的时间里全部录入完毕,不残留数据;8,对于hive,你写过哪些UDF函数,作用是什么9,原创 2014-03-31 15:54:48 · 1143 阅读 · 0 评论 -
Cloudera CDH 、Impala本地通过Parcel安装配置详解
Cloudera CDH 、Impala本地通过Parcel安装配置详解详细见链接:http://www.cnblogs.com/shudonghe/archive/2013/06/19/3145013.html创建本地yum软件源,为本地Package安装Cloudera Manager、Cloudera Hadoop及Impala做准备:ht原创 2014-03-18 17:18:18 · 2162 阅读 · 0 评论 -
Cloudera hadoop配置文件地址和修改配置属性方法
问题导读1.cloudera 的配置文件路径默认在什么位置?2.如何通过cloudera manager web UI修改配置文件?配置文件地址:Hadoop: /etc/hadoop/confhbase: /etc/hadoop/confhive: /etc/hive/conf使用cloudera manager web UI 修改hadoop .xm转载 2016-01-12 18:52:56 · 14693 阅读 · 0 评论