![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
shirukai
路漫漫其修远兮
展开
-
学习Hadoop之MapReduce
学习Hadoop之MapReduce笔记MapReduce最简单的例子 如下图所示,假如我们要计算一份海报的数据,那么我们应该怎么快速计算出结果呢? 首先,我们要知道的是,我们对于一份非常大的文件上传到我们的HDFS分布式系统上时,它已经不是一个文件了,而是被物理分割成了很多份,至于被分成多少块那就要看文件的大小了,假如文件的大小是1g,HDFS默认的Block Siz...原创 2018-06-28 13:43:53 · 204 阅读 · 0 评论 -
centos7下配置Hadoop全分布式环境
配置Hadoop全分布式环境一、准备工作准备三台虚机并保证能相互ping通 序号 IP地址 主机名 类型 用户名 1 192.168.162.177 Master.Hadoop NameNode root 2 192.168.162.155 Slave1.Hadoop DataNode root ...原创 2018-07-12 20:26:57 · 370 阅读 · 0 评论 -
IDEA向hadoop集群提交MapReduce作业
IDEA向Hadoop集群提交作业环境搭建windows环境:IntelliJ IDEA 2017.2.3、JRE: 1.8.0_152-release-915-b11 、hadoop-2.7.4.tar.gz、hadoop-common-2.2.0-bin-master.rar一、windows下配置hadoop环境1.解压hadoop-2.7.4.tar.gz到c盘(或者任...原创 2018-07-12 20:27:54 · 3305 阅读 · 5 评论 -
java接口对hadoop集群进行操作
Java接口对Hadoop集群的操作 首先要有一个配置好的Hadoop集群 这里是我在SSM框架搭建的项目的测试类中实现的一、windows下配置环境变量下载文件并解压到C盘或者其他目录。链接:http://pan.baidu.com/s/1jHHPElg 密码:aufd配置环境变量1.配置HADOOP_HOME2.配置PATH...原创 2018-07-12 20:28:29 · 586 阅读 · 0 评论