Hadoop
文章平均质量分 76
黑菜妞妞
这个作者很懒,什么都没留下…
展开
-
hadoop作业执行流程及代码简略解读之一整体简介
本文:参考了网上的博文。出处也不知是哪里,不好意思。最近整理磁盘文档发现的好资料所以整理补充了一下供大家学习参考一下吧。 1.主要组成部分: Hadoop包括hdfs与mapreduce两部分,hdfs则为底层的分布式存储系统、mapreduce则为用于处理存储在hdfs中的数据的编程模型。 mapreduce作业提交执行主要涉及到这几个主要的类:jobclient,JobTrack转载 2012-05-23 11:09:52 · 575 阅读 · 0 评论 -
hadoop作业执行流程及代码简略解读之二JobClient
4.Jobclient 4.0 配置一个作业 在编写MapReduce程序时通常是上是这样写的: Job job=new Job(conf,"ClosedDataCube"); //指定作业代码 job.setJarByClass(ClosedDataCube.class); //转载 2012-05-23 11:11:02 · 764 阅读 · 0 评论 -
hadoop作业执行流程及代码简略解读之三JobTracker
5.JobTracker JobTracker是在网络环境中提交及运行MR任务的核心位置。 5.0 JobTracker启动 JobTracker类中有一个main()函数,hadoop启动的时候执行此main()函数启动JobTracker进程,main()中生成一个JobTracker的对象,然后通过tracker.offerService()语句启动服务,转载 2012-05-23 11:12:03 · 824 阅读 · 0 评论 -
hadoop作业执行流程及代码简略解读之四TaskTracker
6. TaskTracker TaskTracker是在网络环境中开始和跟踪任务的核心位置。与Jobtracker连接请求执行任务而后报告任务状态 6.0 TaskTracker的启动 1. 与JobTracker一样,里面包含一个main()方法,在hadoop启动的时候启动此进程。 Main()方法最主要的一句话 TaskTracker(转载 2012-05-23 11:13:24 · 689 阅读 · 0 评论 -
Hadoop---在window下配置安装之cygwin的安装
如果想在window系统环境下运行hadoop就要安装Cygwin-----一个模拟linux环境的软件。下面就说明一下cygwin的安装。可以在http://cygwin.com/install.html上下载安装文件setup.exe. 1. 双击setup.exe安装。如下图: 2. 直接点击下一步后如下图: 图中有三个选项,意思一看就懂啊转载 2012-05-23 09:16:22 · 796 阅读 · 0 评论 -
Hadoop---在window下的安装配置----基于cygwin的
1. 下载hadoop安装包 可以到这个网站上下载http://www.apache.org/dist//hadoop/core/如果下载不下来自己到网上找找很多的。选一个版本下载。我用的是hadoop-0.20.2。 2.解压到一个目录下。随便选择按个目录。建议直接选择一个根目录。随后进行配置。这里配置的是伪分布式了。需要配置四个文件。都在conf目录下。分别为:hadoop-env转载 2012-05-23 10:42:04 · 626 阅读 · 0 评论