- 博客(6)
- 收藏
- 关注
RSS订阅转载 修改Zookeeper日志输出路径，并按照日期输出
1、修改log4j.propertiesvi /opt/zookeeper-3.4.8/conf/log4j.properties# Define some default values that can be overridden by system propertieszookeeper.root.logger=INFO,ROLLINGFILE zookeep
2016-11-23 11:02:20
5570
转载 hadoop配置汇总
hadoop 参数配置hadoop 参数 hadoop配置参数 hadoop优化目录[-]Hadoop参数汇总linux参数JVM参数Hadoop参数大全core-default.xmlhdfs-default.xmlyarn-default.xmlHadoop参数汇总@(Hadoop)[配置]linux参
2016-11-22 09:58:32
2036
转载 YARN的内存和CPU配置
摘要： Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有...Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置Y
2016-11-08 09:46:27
2295
转载 [YARN] Yarn下Mapreduce的内存参数理解
这篇文章算是给自己重新缕清MR下内存参数的含义Container是什么？Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上看到Container的状态基础Yarn的ResourceManger（简称RM）通过逻辑上的队列分配内存，CP
2016-11-08 09:42:34
11012
1
转载 yarn ha
问题导读1.hadoop2.x哪两种HDFS HA的解决方案？2.本文采用的哪种HA方式，HA是如何配置的？以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档
2016-11-07 16:19:15
1554
转载 hadoop 数据迁移
概述DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。使用方法
2016-11-02 14:56:45
4454
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人