- 博客(18)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 CDH5.3 Oozie服务搭建
CDH5.3 Oozie服务搭建编写人：胡旻 版本：V_0.5 修改时间：20150215(Oozie版本CDH5.3组件V4.0.0) 版权所有转载请注明一.Oozie简介Oozie是一个管理Hdoop作业（job）的工作流程调度管理服务。1. Oozie的工作流是一系列动作的直接周期图(Directed Acyclical Graphs)。这些动
2015-09-29 12:59:59
2950
转载 shell的本地变量和环境变量
为使shell编程更有效，系统提供了一些shell变量。shell变量可以保存诸如路径名、文件名或者一个数字这样的变量名。shell将其中任何设置都看做文本字符串。有两种变量，本地和环境。严格地说可以有4种，但其余两种是只读的，可以认为是特殊变量，它用于向shell脚本传递参数。1 什么是shell变量按照定义来说,变量是存储设备中的一些可读写的存储单元.变量可以定制用户本身的工作环境
2015-09-24 16:08:31
6795
转载 Hadoop的内存配置
Hadoop的内存配置有两种方法：利用手动安装hadoop的帮助脚本；手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:用wget命令从hortonworks上下载脚本python hdp-configuration-utils.py wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/h
2015-09-22 16:25:07
4174
转载 YARN内存使用优化配置
YARN内存使用优化配置hadoopyarnyarn 内存分配 在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用
2015-09-22 15:11:08
1557
转载 Hadoop/Yarn/MapReduce内存分配（配置）方案
Hadoop/Yarn/MapReduce内存分配（配置）方案以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configu
2015-09-22 15:07:29
969
转载 aaaa
问题导读：1.怎样配置Redis集群？2.Redis Cluster怎样做数据迁移？3.Redis Cluster怎样实现故障转移？4.Redis Cluster与Bada有什么区别？1.Redis Cluster总览1.1 设计原则和初衷在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在
2015-09-21 08:30:29
307
转载 全面剖析Redis Cluster原理和应用
问题导读：1.怎样配置Redis集群？2.Redis Cluster怎样做数据迁移？3.Redis Cluster怎样实现故障转移？4.Redis Cluster与Bada有什么区别？1.Redis Cluster总览1.1 设计原则和初衷在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在
2015-09-21 08:24:20
364
转载 全面剖析Redis Cluster原理和应用
问题导读：1.怎样配置Redis集群？2.Redis Cluster怎样做数据迁移？3.Redis Cluster怎样实现故障转移？4.Redis Cluster与Bada有什么区别？1.Redis Cluster总览1.1 设计原则和初衷在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在
2015-09-21 08:23:26
320
转载 全面剖析Redis Cluster原理和应用
问题导读：1.怎样配置Redis集群？2.Redis Cluster怎样做数据迁移？3.Redis Cluster怎样实现故障转移？4.Redis Cluster与Bada有什么区别？1.Redis Cluster总览1.1 设计原则和初衷在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在
2015-09-21 08:22:24
385
转载 Hadoop 2.0中用户安全伪装/模仿机制实现原理
本文将从用户伪装（impersonate，翻译成“模仿”也许更好些）角度介绍Hadoop安全机制，用户伪装机制使得Hadoop支持类似于linux “sudo”的功能，即用户A以用户B的身份执行功能。该机制属于Hadoop安全机制的一部分，因此适用于Hadoop 1.0之后的版本（尽管本文标题包含“hadoop 2.0”字样）。在Hadoop 1.0之前，用户管理方面是非常脆弱的，在Map
2015-09-18 17:09:32
2237
转载 新手指导：hadoop-搭建集群必备知识：集群及内存配置介绍
1.集群配置常用配置文件有哪些？2.有哪些控制脚本,如何查看这些配置脚本？3.有哪些守护进程？4.hadoop的内存该如何设置？5.如何单独配置namenode内存？集群介绍1. 配置文件列表如下：[tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll
2015-09-18 08:47:31
2695
转载 HADOOP HDFS BALANCER介绍及经验总结
1.集群执行balancer命令，依旧不平衡的原因是什么？该如何解决？2.尽量不在NameNode上执行start-balancer.sh的原因是什么？集群平衡介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更
2015-09-17 17:31:09
3941
转载 hbase0.96与hive0.12整合高可靠文档及问题总结
问题导读：1.hive安装是否需要安装mysql？2.hive是否分为客户端和服务器端？3.hive的元数据库有哪两种？4.hive与hbase整合的关键是什么？5.hive的安装是否必须安装hadoop?6.hive与hbase整合需要做哪些准备工作？7.hive元数据库启动卡住代表的含义是什么？网上有很多资料，看到大部分都是一致的，看到一篇国外的文章，原来都是翻
2015-09-16 19:07:07
702
转载 彻底弄清Hive安装过程中的几个疑问点
8.hive 是否需要每个datanode都安装？9. property> name>hive.metastore.urisname> value>uri1,uri2,...value>//可配置多个 uri description>JDBC connect string for a JDBC metastoredescription> p
2015-09-16 11:07:14
1257
转载 Hadoop2.2.0中HDFS的高可用性实现原理
在《Hadoop 1.x中fsimage和edits合并实现》文章中，我们谈到了Hadoop 1.x上的fsimage和edits合并实现，里面也提到了Hadoop 2.x版本的fsimage和edits合并实现和Hadoop 1.x完全不一样，今天就来谈谈Hadoop 2.x中fsimage和edits合并的实现。 我们知道，在Hadoop 2.x中解决了NameNode的单点故障问题
2015-09-06 09:27:47
1615
转载 CDH使用秘籍（二）：cloudera Manager中监控数据的存储
概述上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，怎样配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应用的元数据。经过查看相应的Cloudera Manager的存储连接，发现
2015-09-02 13:20:32
861
转载 解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
问题导读1.CM的安装目录在什么位置？2.hadoop配置文件在什么位置？3.Cloudera manager运行所需要的信息存在什么位置？4.CM结构和功能是什么？1. 相关目录/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/sha
2015-09-01 17:39:52
541
转载 cdh4.2 HA的安装注意事项
原网址：http://blog.csdn.net/bigdatahappy/article/details/9004805说明：感觉不错，就收藏了。请尽量访问原网址1、目前发布版只支持两个NNThe HDFS HA feature addresses the above problems by providing the option of running two Name
2015-09-01 09:04:46
991
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人