hadoop学习(五)

原创 2011年01月12日 23:57:00

HDFS Details for Multimachine Clusters(2nd)

Checking the NameNodes
    ${JAVA_HOME}/bin/jps 结果第一行为java进程的pid
Checking the DataNodes
    bin/slaves.sh jps | grep Datanode | sort
    在查看过程中,如果有slave失败,则需要去那台机器上查看他们的日志文件。这样会不会造成管理员压力太大的问题?
    In fact, I had half of a new cluster fail to start, and it took some time to realize that the newly installed machines had a default firewall that         blocked the HDFS port.
    bin/hadoop dfsadmin -report  可以查看当前在线的datanode的部分信息
Tuning Factors
    most important factors are network bandwidth and disk throughput. Memory use and CPU overhead for thread handling may also be issues.
    The large input-split size reduces the ratio of task setup time to task run time.
    Set the maximum number of requests in progress. the more requests in progress, the more contention there is for storage operations and network bandwidth, with a corresponding increase in memory requirements and CPU overhead for handling all of the outstanding requests.
    Different factors per cluster.
File Descriptors (http://en.wikipedia.org/wiki/File_descriptor )
    Any user that runs processes that access HDFS should have a large limit on file descriptor access, and all applications that open files need careful         checking to make sure that the files are explicitly closed.

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop学习笔记之五:使用Eclipse插件

Hadoop学习笔记之五:使用Eclipse插件 引言 在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍...

Hadoop权威指南学习(五)——MapReduce的类型和格式

1. MapReduce的类型 map:(K1,V1)-->list(K2, V2);combine:(K2,list(V2))-->list(K2, V2);reduce:(K2,list(V2)...

hadoop学习笔记(五)——全分布模式下SSH免密码登陆的实现

因为三个节点要相互访问,所以,三个节点都是客户端,也都是服务器端,我们分别在三个节点上创建一对密钥文件,密钥文件包括公钥文件(~/.ssh/id_rsa.pub)和私钥文件 (~/.ssh/id_rs...

Hadoop学习之MapReduce(五)

作业的提交和监控 Job为作业提交者提供了作业的视图,允许用户管理作业,提交作业,控制作业的执行和查询作业状态,比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才...

hadoop学习(五)------源码编译

编译环境准备: 在ubuntukylin-14.04-desktop-i386环境中编译hadoop源码 1.安装JDK,maven 请参考http://blog.csdn.net/ha...

一步一步学习hadoop(五)

Hadoop分布式文件系统(HDFS) 首先介绍一下HDFS的特点: 1.擅长处理大文件,超大文件。几十G甚至PB级别的文件 2.擅长流式数据访问,一次写入多次读取是最高效的访问模式 3.可以...

Hadoop学习五:hdfs federation

Hadoop学习五:hdfs federation标签(空格分隔): hadoopHadoop学习五hdfs federation 一概述 一,概述1,为什么需要使用hdfs federation N...

Hadoop学习笔记(五):一些关于HDFS的基本知识

当某个数据集大大小超出单个物理机的存储能力时,我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入,相应的问题也就出现...

Hadoop学习笔记(五)---HDFS shell操作

1.查看hadoop上根目录的文件:[root@localhost current]# hadoop fs -ls /2.上传文件到hadoop:[root@localhost hadoop]# vi...

Hadoop学习笔记之五:使用Eclipse插件

引言 在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。 插件安装 Had...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)