Hadoop本地运行模式深入理解

最新推荐文章于 2020-11-09 10:24:11 发布
最新推荐文章于 2020-11-09 10:24:11 发布
阅读量345 收藏 1
点赞数 1
分类专栏： hadoop

Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下：
1、独立模式即本地运行模式（standalone或local mode）
无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。
2、伪分布运行模式
伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布运行模式，如下图所示：

[root@hadoop20 dir2]# jps
8993 Jps
7409 SecondaryNameNode
7142 NameNode
7260 DataNode
8685 NodeManager
8590 ResourceManager

3、集群模式
如果Hadoop对应的Java进程运行在多台物理机器上,称为集群模式.[集群就是有主有从] ，如下图所示：

[root@hadoop11 local]# jps
18046 NameNode
30927 Jps
18225 SecondaryNameNode
[root@hadoop22 ~]# jps
9741 ResourceManager
16569 Jps
[root@hadoop33 ~]# jps
12775 DataNode
20189 Jps
12653 NodeManager
[root@hadoop44 ~]# jps
10111 DataNode
17519 Jps
9988 NodeManager
[root@hadoop55 ~]# jps
11563 NodeManager
11686 DataNode
19078 Jps
[root@hadoop66 ~]# jps
10682 DataNode
10560 NodeManager
18085 Jps

注意：伪分布模式就是在一台服务器上面模拟集群环境,但仅仅是机器数量少,其通信机制与运行过程与真正的集群模式是一样的，hadoop的伪分布运行模式可以看做是集群运行模式的特殊情况。
为了方便文章的后续说明，先介绍一下hadoop的体系结构：
这里写图片描述
从Hadoop的体系结构可以看出，HDFS与MapReduce分别是Hadoop的标配文件系统与标配计算框架，但是呢？–我们完全可以选择别的文件系统(如Windows的NTFS，Linux的ext4)与别的计算框架(如spark、storm等)为Hadoop所服务，这恰恰说明了hadoop的松耦合性。在hadoop的配置文件中，我们是通过core-site.xml这个配置文件指定所用的文件系统的。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop11:9000</value>
</property>

下面将基于Linux与Windows两种开发环境详细说明hadoop的本地运行模式，其中核心知识点如下：
Hadoop的本地执行模式：
1、在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行
—-输入输出数据可以放在本地路径下（c:/wc/srcdata/）
—-输入输出数据也可以放在hdfs中(hdfs://hadoop20:9000/dir)

2、在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行
—-输入输出数据可以放在本地路径下（/usr/local/）
—-输入输出数据也可以放在hdfs中(hdfs://hadoop20:9000/dir)
首先先基于Linux的开发环境进行介绍：
这里写图片描述
以WordCount程序为例，输入输出文件都放在本地路径下，代码如下：

package MapReduce;

import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;




public class WordCount
{
     public static String path1 = "file:///usr/local/word.txt"; //file:///代表本地文件系统中路径的意思
     public static String path2 = "file:///usr/local/dir1";
     public static void main(String[] args) throws Exception
     {
         Configuration conf = new Configuration();
         FileSystem fileSystem = FileSystem.get(conf);

         if(fileSystem.exists(new Path(path2)))
         {
             fileSystem.delete(new Path(path2), true);
         }
         Job job = Job.getInstance(conf);
         job.setJarByClass(WordCount.class);

         FileInputFormat.setInputPaths(job, new Path(path1));
         job.setInputFormatClass(TextInputFormat.class);
         job.setMapperClass(MyMapper.class);
         job.setMapOutputKeyClass(Text.class);
         job.setMapOutputValueClass(LongWritable.class);

         job.setNumReduceTasks(1);
         job.setPartitionerClass(HashPartitioner.class);


         job.setReducerClass(MyReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(LongWritable.class);
         job.setOutputFormatClass(TextOutputFormat.class);
         FileOutputFormat.setOutputPath(job, new Path(path2));
         job.waitForCompletion(true);
     }    
     public  static  class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>
     {
             protected void map(LongWritable k1, Text v1,Context context)throws IOException, InterruptedException
            {
                 String[] splited = v1.toString().split("\t");
                 for (String string : splited)
                {
                       context.write(new Text(string),new LongWritable(1L));
                }
            }     
     }
     public  static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>
     {
        protected void reduce(Text k2, Iterable<LongWritable> v2s,Context context)throws IOException, InterruptedException
        {
                 long sum = 0L;
                 for (LongWritable v2 : v2s)
                {
                    sum += v2.get();
                }
                context.write(k2,new LongWritable(sum));
        }
     }
}

在程序的运行过程中，相应的java进程如下：

[root@hadoop20 local]# jps
7621                //对应的是启动的eclipse
9833 Jps
9790 WordCount      //对应的是WordCount程序

下面我们在本地查看运行结果：

[root@hadoop20 dir]# pwd
/usr/local/dir1
[root@hadoop20 dir1]# more part-r-00000 
hello   2
me      1
you     1

接下来我们将输入路径选择HDFS文件系统中的路径，输出路径还是本地linux文件系统，首先我们在linux上面启动HDFS分布式文件系统。

[root@hadoop20 dir]# start-dfs.sh
Starting namenodes on [hadoop20]
hadoop20: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-hadoop20.out
hadoop20: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-hadoop20.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-hadoop20.out
[root@hadoop20 dir]# jps
10260 SecondaryNameNode
7621 
10360 Jps
9995 NameNode
10110 DataNode

还是以WordCount程序为例，代码如下：

package MapReduce;

import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;




public class WordCount
{
     public static String path1 = "hdfs://hadoop90:2000/word.txt";//读取HDFS中的测试集
     public static String path2 = "file:///usr/local/dir2";  //输出数据输出到本地文件系统中
     public static void main(String[] args) throws Exception
     {
         Configuration conf = new Configuration();
         FileSystem fileSystem = FileSystem.get(conf);//默认获取的是本地文件系统的FileSystem实例(在这里就是linux文件系统的实例)

         if(fileSystem.exists(new Path(path2)))
         {
             fileSystem.delete(new Path(path2), true);
         }
         Job job = Job.getInstance(conf);
         job.setJarByClass(WordCount.class);

         FileInputFormat.setInputPaths(job, new Path(path1));
         job.setInputFormatClass(TextInputFormat.class);
         job.setMapperClass(MyMapper.class);
         job.setMapOutputKeyClass(Text.class);
         job.setMapOutputValueClass(LongWritable.class);

         job.setNumReduceTasks(1);
         job.setPartitionerClass(HashPartitioner.class);


         job.setReducerClass(MyReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(LongWritable.class);
         job.setOutputFormatClass(TextOutputFormat.class);
         FileOutputFormat.setOutputPath(job, new Path(path2));
         job.waitForCompletion(true);
     }    
     public  static  class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>
     {
             protected void map(LongWritable k1, Text v1,Context context)throws IOException, InterruptedException
            {
                 String[] splited = v1.toString().split("\t");
                 for (String string : splited)
                {
                       context.write(new Text(string),new LongWritable(1L));
                }
            }     
     }
     public  static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>
     {
        protected void reduce(Text k2, Iterable<LongWritable> v2s,Context context)throws IOException, InterruptedException
        {
                 long sum = 0L;
                 for (LongWritable v2 : v2s)
                {
                    sum += v2.get();
                }
                context.write(k2,new LongWritable(sum));
        }
     }
}

运行结果如下：

[root@hadoop20 dir2]# more part-r-00000 
hello   2
me      1
you     1
[root@hadoop20 dir2]# pwd
/usr/local/dir2

接下来我们将输入输出路径都换成HDFS中的路径：
代码如下：

package MapReduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;


public class WordCount
{
     public static String path1 = "hdfs://hadoop20:9000/word.txt";//读取HDFS中的测试集
     public static String path2 = "hdfs://hadoop20:9000/dir3";
     public static void main(String[] args) throws Exception
     {
         Configuration conf = new Configuration();
         FileSystem fileSystem = FileSystem.get(conf);

         if(fileSystem.exists(new Path(path2)))
         {
             fileSystem.delete(new Path(path2), true);
         }
         Job job = Job.getInstance(conf);
         job.setJarByClass(WordCount.class);

         FileInputFormat.setInputPaths(job, new Path(path1));
         job.setInputFormatClass(TextInputFormat.class);
         job.setMapperClass(MyMapper.class);
         job.setMapOutputKeyClass(Text.class);
         job.setMapOutputValueClass(LongWritable.class);

         job.setNumReduceTasks(1);
         job.setPartitionerClass(HashPartitioner.class);


         job.setReducerClass(MyReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(LongWritable.class);
         job.setOutputFormatClass(TextOutputFormat.class);
         FileOutputFormat.setOutputPath(job, new Path(path2));
         job.waitForCompletion(true);
     }    
     public  static  class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>
     {
             protected void map(LongWritable k1, Text v1,Context context)throws IOException, InterruptedException
            {
                 String[] splited = v1.toString().split("\t");
                 for (String string : splited)
                {
                       context.write(new Text(string),new LongWritable(1L));
                }
            }     
     }
     public  static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>
     {
        protected void reduce(Text k2, Iterable<LongWritable> v2s,Context context)throws IOException, InterruptedException
        {
                 long sum = 0L;
                 for (LongWritable v2 : v2s)
                {
                    sum += v2.get();
                }
                context.write(k2,new LongWritable(sum));
        }
     }
}

程序抛出异常：
这里写图片描述
处理措施：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop20:9000/");//加入此行代码，表示获取HDFS中的FileSystem实例，而不在是默认linux文件系统的FileSystem实例

查看运行结果：

[root@hadoop20 hadoop]# hadoop fs -cat /dir3/part-r-00000
hello   2
me      1
you     1

好了，从上面的3个例子可以看出，在Linux这种开发环境下，Hadoop的本地运行模式是很简单的，不用配置任何文件，但是在Windows开发环境下，我们却需要配置很多文件。
在这里先说明一下，因为我的电脑是64位，所以我在windows上面安装的jdk1.7、eclipse、hadoop2.4.1都是64位的，下载链接如下：
http://blog.csdn.net/a2011480169/article/details/51814212
在Windows开发环境中实现Hadoop的本地运行模式，详细步骤如下：
1、在本地安装好jdk、hadoop2.4.1，并配置好环境变量：JAVA_HOME、HADOOP_HOME、Path路径(配置好环境变量后最好重启电脑)。
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
2、用hadoop-common-2.2.0-bin-master的bin目录替换本地hadoop2.4.1的bin目录，因为hadoop2.0版本中没有hadoop.dll和winutils.exe这两个文件。
hadoop-common-2.2.0-bin-master的下载链接如下：
http://blog.csdn.net/a2011480169/article/details/51814212
如果缺少hadoop.dll和winutils.exe话，程序将会抛出下面异常：

java.io.IOException: Could not locate executable D:\hadoop-2.4.1\bin\winutils.exe in the Hadoop binaries.
java.lang.Exception: java.lang.NullPointerException

所以用hadoop-common-2.2.0-bin-master的bin目录替换本地hadoop2.4.1的bin目录是必要的一个步骤。
注意：如果只是将hadoop-common-2.2.0-bin-master的bin目录中的hadoop.dll和winutils.exe这两个文件添加到hadoop2.4.1的bin目录中，也是可行的，但最好用用hadoop-common-2.2.0-bin-master的bin目录替换本地hadoop2.4.1的bin目录。
上面这两个步骤完成之后我们就可以跑程序了，从而实现Hadoop的本地运行模式：
首先输入输出路径都选择windows的文件系统：
代码如下：

package MapReduce;

import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;


public class WordCount
{
     public static String path1 = "file:///C:\\word.txt";//读取本地windows文件系统中的数据
     public static String path2 = "file:///D:\\dir";
     public static void main(String[] args) throws Exception
     {
         Configuration conf = new Configuration();
         FileSystem fileSystem = FileSystem.get(conf);

         if(fileSystem.exists(new Path(path2)))
         {
             fileSystem.delete(new Path(path2), true);
         }
         Job job = Job.getInstance(conf);
         job.setJarByClass(WordCount.class);

         FileInputFormat.setInputPaths(job, new Path(path1));
         job.setInputFormatClass(TextInputFormat.class);
         job.setMapperClass(MyMapper.class);
         job.setMapOutputKeyClass(Text.class);
         job.setMapOutputValueClass(LongWritable.class);

         job.setNumReduceTasks(1);
         job.setPartitionerClass(HashPartitioner.class);


         job.setReducerClass(MyReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(LongWritable.class);
         job.setOutputFormatClass(TextOutputFormat.class);
         FileOutputFormat.setOutputPath(job, new Path(path2));
         job.waitForCompletion(true);
     }    
     public  static  class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>
     {
             protected void map(LongWritable k1, Text v1,Context context)throws IOException, InterruptedException
            {
                 String[] splited = v1.toString().split("\t");
                 for (String string : splited)
                {
                       context.write(new Text(string),new LongWritable(1L));
                }
            }     
     }
     public  static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>
     {
        protected void reduce(Text k2, Iterable<LongWritable> v2s,Context context)throws IOException, InterruptedException
        {
                 long sum = 0L;
                 for (LongWritable v2 : v2s)
                {
                    sum += v2.get();
                }
                context.write(k2,new LongWritable(sum));
        }
     }
}

在dos下查看运行中的java进程：
这里写图片描述
其中28568为windows中启动的eclipse进程。
接下来我们查看运行结果：
这里写图片描述
part-r-00000中的内容如下：

hello   2
me  1
you 1

接下来输入路径选择windows本地，输出路径换成HDFS文件系统，代码如下：

package MapReduce;

import java.io.IOException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;



public class WordCount
{
     public static String path1 = "file:///C:\\word.txt";//读取windows文件系统中的数据
     public static String path2 = "hdfs://hadoop20:9000/dir";//输出到hdfs中
     public static void main(String[] args) throws Exception
     {
         Configuration conf = new Configuration();
         FileSystem fileSystem = FileSystem.get(conf);
         if(fileSystem.exists(new Path(path2)))
         {
             fileSystem.delete(new Path(path2), true);
         }
         Job job = Job.getInstance(conf);
         job.setJarByClass(WordCount.class);

         FileInputFormat.setInputPaths(job, new Path(path1));
         job.setInputFormatClass(TextInputFormat.class);
         job.setMapperClass(MyMapper.class);
         job.setMapOutputKeyClass(Text.class);
         job.setMapOutputValueClass(LongWritable.class);

         job.setNumReduceTasks(1);
         job.setPartitionerClass(HashPartitioner.class);


         job.setReducerClass(MyReducer.class);
         job.setOutputKeyClass(Text.class);
         job.setOutputValueClass(LongWritable.class);
         job.setOutputFormatClass(TextOutputFormat.class);
         FileOutputFormat.setOutputPath(job, new Path(path2));
         job.waitForCompletion(true);
     }    
     public  static  class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>
     {
             protected void map(LongWritable k1, Text v1,Context context)throws IOException, InterruptedException
            {
                 String[] splited = v1.toString().split("\t");
                 for (String string : splited)
                {
                       context.write(new Text(string),new LongWritable(1L));
                }
            }     
     }
     public  static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>
     {
        protected void reduce(Text k2, Iterable<LongWritable> v2s,Context context)throws IOException, InterruptedException
        {
                 long sum = 0L;
                 for (LongWritable v2 : v2s)
                {
                    sum += v2.get();
                }
                context.write(k2,new LongWritable(sum));
        }
     }
}

程序抛出异常：
这里写图片描述
处理措施同上：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop20:9000/");
FileSystem fileSystem = FileSystem.get(conf);//获取HDFS中的FileSystem实例

查看运行结果：

[root@hadoop20 dir4]# hadoop fs -cat /dir/part-r-00000
hello   2
me      1
you     1

好的，到这里hadoop的本地文件系统就讲述完了，注意一下几点：
1、file:\\ 代表本地文件系统，hdfs:// 代表hdfs分布式文件系统
2、linux下的hadoop本地运行模式很简单，但是windows下的hadoop本地运行模式需要配置相应文件。
3、MapReduce所用的文件放在哪里是没有关系的(可以放在Windows本地文件系统、可以放在Linux本地文件系统、也可以放在HDFS分布式文件系统中)，最后是通过FileSystem这个实例来获取文件的。
如有问题，欢迎留言指正！

注意：如果用户用的是Hadoop1.0版本,并且是Windows环境下实现本地运行模式，则只需设置HADOOP_HOME与PATH路径，其余不用任何设置！

du_xian_sheng
关注
专栏目录
三 Hadoop运行模式之本地运行模式和伪分布式模式
01-20
本文将深入探讨其中的本地运行模式和伪分布式模式，帮助读者了解这两种模式的基本原理和操作步骤。 【标签】: Hadoop, 分布式, 运行模式 【正文】: Hadoop运行模式主要包括本地模式、伪分布式模式和完全分布式...
第一个MapReduce案例集群模式&本地模式
菜菜的博客
01-06 6531
                             第一个MapReduce案例集群模式&amp;Linux本地模式 记录一下自己在开发MapReduce程序的过程。  思考点是：如何下手，怎样开发。1.对于平台的要求：环境已搭建完毕，且测试通过。   我自己平台是：Centos6.4 +jdk1.7+hadoop2.5.1  都是64位的我这里写的是非常简单的一种：创建一个java工程，导...
mr程序运行在本地模式和集群模式的参数设置
cool__007的博客
01-09 4145
本地运行mr配置： Configuration conf = new Configuration(); conf.set("mapreduce.framework.name", "local"); 本地模式运行mr程序时，输入输出的数据可以在本地，也可以在hdfs上 也就是说mapreduce在本地以线程跑的时候，数据可以从本地读取写入，也可从hdfs文件系统上读取写入 到底
Spark之本地模式与集群模式
热门推荐
Widsom的博客
05-07 1万+
Spark之本地模式与集群模式 1.spark-shell的本地模式和集群模式 1.1 local本地模式 直接启动spark-shell命令窗口 脚本启动后，会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图： 1.1.1 加载本地数据 sc.textFile("file:///home/hadoop/words.txt").fl...
Hadoop源码解读
管子（zero）的杂乱空间
01-06 745
Hadoop源代码分析（一） 关键字:分布式云计算 完整文章及图，在我的资源里面，可以去下载。Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.c...
Hadoop概念学习系列之再谈hadoop集群里的本地模式、伪分布模式和全分布模式（三十七）...
weixin_34061482的博客
11-23 151
　　能看懂博主我此博文，相信你已经有了一定基础了。 对于本地模式、伪分布模式和全分布模式的概念，这里，我不多赘述。太多资料和博客，随便在网上一搜就好。 比如《hadoop实战 第二版》陆嘉恒老师等。 　　我这里呢，是再次挖掘深入。   　　我们知道，如伪分布模式或全分布式模式，里有着很多的java进程（这个，可用jps查看）。有过动手试验的都知道， 这两种模式，速度明显比本地模式要快，...
11.Hadoop本地库1
08-04
10. **集成开发环境（IDE）**：许多IDE如Eclipse和IntelliJ IDEA提供了与Hadoop本地运行的支持，这使得在IDE内直接运行和调试Hadoop作业成为可能。 总结起来，Hadoop本地库是一个重要的工具，它简化了Hadoop开发和...
Hadoop本地安装教程
09-28
总的来说，本地安装Hadoop是一个很好的起点，让你能够深入了解大数据处理的基础，并为以后的分布式集群实践打下坚实基础。在学习过程中，如果有任何疑问，可以参考官方文档，或者在相关的技术社区寻求帮助。祝你学习...
Windows本地安装Hadoop所需文件.zip
12-15
在Windows环境下搭建Hadoop集群，对于初学者来说可能是一项挑战，但通过本地安装方式，可以大大简化这个过程...随着对Hadoop的深入理解，你还可以尝试在多台机器上构建真正的分布式集群，体验更强大的大数据处理能力。
Hadoop完全分布模式安装.pdf
04-29
在开始深入了解Hadoop完全分布模式安装之前，首先需要了解Hadoop运行模式的三种类型：本地运行模式、伪分布运行模式和完全分布式运行模式。本地运行模式仅在单机上模拟分布式计算；伪分布运行模式则是在单机上运行...
Hadoop的三种运行模式
q435201823的博客
02-09 6621
Hadoop的三种运行模式 ： 1.独立（本地）运行模式：无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。 2.伪分布式模式： Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。 3.完全分布式模式：Hadoop守...
Hadoop之本地运行模式详解
南北雪树的专栏
07-07 3249
Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下：  1、独立模式即本地运行模式（standalone或local mode）  无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。  2、伪分布运行模式  伪分布:如果hadoop对应的Ja
Hadoop安装部署的三种模式总结
weimingchao的博客
11-09 6194
目前来说，Hadoop的安装部署的模式一共有三种，就是如下三种： 本地模式 伪分布模式 全分布模式 1、独立模式（本地模式） standalone 默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。 2、伪分布模式 pseudodistributed 在一台主机模拟多主机。即，Hadoop的守护程序在本地计算机上运行，模拟集群环境，并
Apache Hadoop 2.9.2文档中文译文 -------未完！！！！！！
xiaozhu_you的博客
04-25 5311
目录 一. General(概括) 1. Overview 2. Single Node Setup 3. Cluster Setup 4. Commands Reference 5. FileSystem Shell 6. Hadoop Compatibility 7. Interface Classification 8. FileSystem Specification ...
Hadoop三种模式 详解
wuscar0703的专栏
11-21 4424
一、Hadoop的三种模式： 1、独立模式（本地模式） standalone 默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 使用本地文件系统，而不是分布式文件系统。 Hadoop不会启动NameNode、DataNode、JobTracker、TaskT
南京工业大学在辽宁2020-2024各专业最低录取分数及位次表.pdf
10-04
那些年，与你同分同位次的同学都去了哪里？全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
下单系统的Spnigboot和微信小程序实现（全栈微信小程式下单）.zip
10-04
下单系统的Spnigboot和微信小程序实现（全栈微信小程式下单）
基于Java开发的智能文件管家设计源码
最新发布
10-04
该项目是一款基于Java的智能文件管家设计源码，涵盖102个文件，包括29个Java源文件、27个类文件、19个XML配置文件、10个YAML文件、8个列表文件、4个属性文件、4个JAR包文件以及1个Git忽略文件。该系统旨在提供高效便捷的文件管理解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值