Vulpes corsac

1.安装JDK安装jdk配置环境https://blog.csdn.net/qq_36535820/article/details/102831841https://blog.csdn.net/qq_36535820/article/details/1028318412.安装Hadoop2.1下载Hadoop下载Hadoophttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/https://mirrors.tuna.tsingh

一、mapreduce入门 1、什么是mapreduce 首先重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式...

一、Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/直接解压，不需要安装，放在自己想要放到的目录底下需要设置的变量有HADOOP_HOME C:\hadoop\spark-2.3.3-bin-hadoop2.7PATH：%HADOOP_HOME%\bin上诉内容都准备好之后再次重新打开控制台输入spark-she...

目录一.hadoop是什么二 .hadoop能干什么三.hadoop的核心四.HDFS的架构五.Hadoop的特点六.NameNode2.NameNode的工作特点3.什么时候checkpoint七.SecondaryNameNode1.简介2.工作流程八.DataNode九.HDFS（1）读过程（2）写过程一.hadoop是什...

Hadoop是一套行业大数据标准开源软件，使用Java编写，允许分布在集群，在分布式环境下提供了海量数据的处理能力。Hadoop的架构：MapReduce：加工/计算层 HDFS：存储层，Hadoop分布式文件系统 ...

命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file >hdfs file的父目录一定要存在，否则命令不会执行hadoop fs -put < local f