hadoop 伪分布式转本机式 word count

   重新进入到/usr/local/hadoop执行

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

发现拒绝链接,执行查看命令

cat ./output/*

也根本没有统计命令。回想之前的安装过程,才发现没有更改 伪分布式的配置文件。便出现了第一张图片的代码,用gedit 命令分别将core-site.xml和hdfs-site.xml文件中

<configuration>
</configuration>
之间的配置删去。

            操作之后,再执行

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

便可完成词频统计啦。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分布式搭建 Hadoop 可以在一台机器上运行 Hadoop,但是每个组件都运行在不同的端口上,以模拟一个多节点的分布式环境。下面是分布式 Hadoop 的搭建步骤: 1. 安装 Java Hadoop 是用 Java 编写的,需要先安装 Java。可以通过命令 `java -version` 查看是否已经安装 Java。如果没有,可以通过以下命令安装: ``` sudo apt-get update sudo apt-get install openjdk-8-jdk ``` 2. 安装 Hadoop 下载 Hadoop 并解压缩: ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz ``` 将 Hadoop 移动到 `/usr/local` 目录下: ``` sudo mv hadoop-3.3.1 /usr/local/hadoop ``` 3. 配置 Hadoop 进入 Hadoop 的配置目录: ``` cd /usr/local/hadoop/etc/hadoop ``` 配置 Hadoop 的环境变量,在 `hadoop-env.sh` 文件中添加以下代码: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 配置 Hadoop 的核心配置文件 `core-site.xml`,在 `configuration` 标签中添加以下内容: ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> ``` 配置 Hadoop 的 HDFS 文件系统,创建 `hdfs-site.xml` 文件并添加以下内容: ``` <property> <name>dfs.replication</name> <value>1</value> </property> ``` 配置 Hadoop 的 YARN 资源管理系统,创建 `yarn-site.xml` 文件并添加以下内容: ``` <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> ``` 配置 Hadoop 的 MapReduce 分布式计算框架,创建 `mapred-site.xml` 文件并添加以下内容: ``` <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` 4. 启动 Hadoop化 HDFS 文件系统: ``` hdfs namenode -format ``` 启动 Hadoop: ``` start-all.sh ``` 查看 Hadoop 是否成功启动: ``` jps ``` 如果成功启动,会看到以下进程: ``` 2325 Jps 2114 ResourceManager 1937 DataNode 2022 NodeManager 1825 NameNode 2185 JobHistoryServer ``` 现在,就可以通过浏览器访问 Hadoop 的 Web 界面了,地址为 `http://localhost:9870`。 5. 执行 MapReduce 任务 在 Hadoop 的安装目录下创建一个输入文件: ``` echo "Hello World" > input.txt ``` 将该文件上传到 HDFS 文件系统中: ``` hdfs dfs -put input.txt /input ``` 在 Hadoop 的安装目录下创建一个 MapReduce 程序: ``` mkdir wordcount cd wordcount ``` 创建一个名为 `WordCount.java` 的文件,并添加以下代码: ```java import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/input/")); FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output/")); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 编译这个程序: ``` export HADOOP_CLASSPATH=$(hadoop classpath) javac -classpath ${HADOOP_CLASSPATH} -d . WordCount.java ``` 打包这个程序: ``` jar cf wc.jar WordCount*.class ``` 执行这个程序: ``` hadoop jar wc.jar WordCount /input /output ``` 查看输出结果: ``` hdfs dfs -cat /output/* ``` 以上就是分布式 Hadoop 的搭建和运行 MapReduce 任务的步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值