hadoop学习(三)

原创 2011年01月09日 19:23:00

Hadoop Core Server Configuration

Default Shared File System URI and NameNode Location for HDFS
The default value is file:///, which instructs the framework to use the local file system. An example of an HDFS URI is hdfs://NamenodeHost[:8020]/, that informs the framework to use the shared file system(HDFS).
JobTracker Host and Port
The URI specified in this parameter informs the Hadoop Core framework of the JobTracker’s location. The default value is local, which indicates that no JobTracker server is to be run, and all tasks will be run from a single JVM.The JobtrackerHost is the host on which the JobTracker server process will be run. This value may be altered by individual jobs.
Maximum Concurrent Map Tasks per TaskTracke r
The mapred.tasktracker.map.tasks.maximum parameter sets the maximum number of map tasks that may be run by a TaskTracker server process on a host at one time. One TaskTracker,one Map Task;one Map Task,many threads; This value may be altered by setting the number of threads via the following:
    JobConf.set("mapred.map.multithreadedrunner.threads", threadCount);
Maximum Concurrent Reduce Tasks per TaskTracker
Reduce tasks tend to be I/O bound, and it is not uncommon to have the per-machine maximum reduce task value set to 1 or 2.
JVM Options for the Task Virtual Machines
During the run phase of a job, there may be up to mapred.tasktracker.map.tasks.maximum map tasks and mapred.tasktracker.reduce.tasks.maximum reduce tasks running simultaneously on each TaskTracker node, as well as the TaskTracker JVM.
Enable Job Control Options on the Web Interfaces
Both the JobTracker and the NameNode provide a web interface for monitoring and control. By default, the JobTracker provides web service on http://JobtrackerHost:50030 and the NameNode provides web service on http://NamenodeHost:50070.


interprocess communications (IPC)

Configuration Requirements

Network Requirements
Hadoop Core uses Secure Shell (SSH) to launch the server processes on the slave nodes.Hadoop Core requires that passwordless SSH work between the master machines and all of the slave and secondary machines.
Advanced Networking: Support for Multihomed Machines
dfs.datanode.dns.interface: If set, this parameter is the name of the network interface to be used for HDFS transactions to the DataNode. The IP address of this interface will be advertised by the DataNode as its contact address.
dfs.datanode.dns.nameserver: If set, this parameter is the hostname or IP address of a machine to use to perform a reverse host lookup on the IP address associated with the specified network interface.

rsync unix 远程同步命令。可以将配置文件同步的其他node上。

Hadoop的理论基础来自谷歌的三大论文,以下是三大论文的中文版

 Hadoop的理论基础来自谷歌的三大论文,以下是三大论文的中文版。 Google-File-System :http://blog.bizcloudsoft.com/...
  • yobyin
  • yobyin
  • 2017年08月09日 10:48
  • 235

学习Hadoop的前提条件

Apache Hadoop是入门点,或者我们可以说是进入整个大数据生态系统的基础。它是大数据生态系统中大多数高级工具,应用程序和框架的基础,但是在学习Apache Hadoop时,还需要事先知道一些事...
  • boonya
  • boonya
  • 2017年01月19日 12:31
  • 616

hadoop的三大核心组件之MapReaduce

Hadoop的三大核心组件之MapReaduce MapReduce是什么? MR是一个分布式计算框架,它是Hadoop的一个程序,不会产生进程。 MR部分需要结合代码来理解学习,由于代码篇幅原...
  • Zonzereal
  • Zonzereal
  • 2018年01月12日 11:25
  • 64

Hadoop家族学习路线图

主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项...
  • it_man
  • it_man
  • 2013年11月09日 22:09
  • 80250

hadoop的三大核心组件之HDFS和YARN

Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。 (1)HDFS集群:负责海量数据的存储,集群中...
  • Zonzereal
  • Zonzereal
  • 2017年09月26日 14:42
  • 1541

零基础学习hadoop到上手工作线路指导

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题?...
  • whl632359961
  • whl632359961
  • 2016年06月15日 09:55
  • 8152

从零开始学Hadoop----浅析HDFS(一)

之前,我们简单介绍了一下Hadoop,知道他是一个处理大数据的框架。今天我们来看看Hadoop的核心构成之一—-HDFS. 这次我们知道了HDFS是一个分布式的文件存储系统,它的一些基本的概...
  • u010168160
  • u010168160
  • 2016年05月10日 08:58
  • 3759

Hadoop别人的学习总结

Hadoop别人的学习总结 学习Hadoop有一段时间了,主要是通过《Hadoop权威指南》,同时参考了网上的很多文章。静下心来,盘点下这一段时间的收获,归纳总结,做一个学习笔记,因为可以记录的东西...
  • grdgrdgrd
  • grdgrdgrd
  • 2015年05月19日 22:12
  • 705

学习Hadoop第三课(Hadoop安装与配置)

上节我们学习了JDK安装,这节我们学习一下Hadoop的安装及环境配置        首先我们需要到Apache官网下载我们需要的Hadoop版本,Apache产品官网是:http://archiv...
  • u012453843
  • u012453843
  • 2016年09月04日 17:12
  • 2320

给Hadoop初学者的一些建议

我们介绍了新手学习hadoop的入门注意事项。这篇来谈谈hadoop核心知识学习。  hadoop核心知识学习:  hadoop分为hadoop1.X和hadoop2.X,并且还有hadoop生态...
  • hanghangaidoudou
  • hanghangaidoudou
  • 2016年11月14日 17:07
  • 1130
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop学习(三)
举报原因:
原因补充:

(最多只允许输入30个字)