大数据与云计算
搭建分布式与运行wordcount程序
码里安乐窝
Java程序员
展开
-
实验-运行wordcount单词计数
一、实验目的掌握分布式计算–批处理引擎MapReduce(第一部分)(wordcount)二、实验步骤1、创建工程wordcount,编写wordcount代码,并打包成可执行的jar包2、在hdfs里创建wordcount目录,并在其目录下创建输入in目录3、执行“bin/hadoop jar jar包名 工程的包名.主函数名 输入文件 输出文件”4、运行wordcount的结果实...原创 2020-01-12 09:45:25 · 917 阅读 · 0 评论 -
实验-hadoop伪分布式平台搭建
一、实验目的安装hadoop,配置hadoop三个文件,配置环境,实现hadoop伪分布式,开启节点。二、实验步骤1.下载hadoop安装包;2.配置hadoop里的三个文件;3.配置环境;4.格式化;5.开启各个节点。三、实验结果进入到Hadoop文件夹:查看java -version配置core-site.xml:配置hdfs-site.xml:配置yarn...原创 2020-01-12 09:26:12 · 786 阅读 · 0 评论 -
什么是云计算
1.什么是云计算云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒种)完成对数以万计的数据的处理,从而...原创 2020-01-12 09:13:29 · 829 阅读 · 0 评论