hadoop
coder_mckee
暂无
展开
-
(Hadoop学习笔记-1) Hadoop伪分布式安装
一、配置ssh服务参考我这篇博客二、安装JAVA环境1.下载JDK-8 在/usr/下建个文件夹,取名为JDK-8(这个大家随意),将下载的jdk解压到此文件夹中 2.配置环境变量sudo gedit /etc/profile在文件末尾添加如下几行:(路径以你自己的为准)export JAVA_HOME=/usr/jdk-8/jdk1.8.0_151export JRE_HOME=$JAV原创 2017-12-11 22:21:35 · 315 阅读 · 0 评论 -
(Hadoop学习笔记-2) HDFS常用Shell命令
首先,这篇博客里的命令来源于官方文档:Hadoop Shell命令官方文档 需要详细了解所有命令的可以前往。1. ls usage:hadoop fs -ls hdfs://<host name>:9000/<path> #hdfs表示HDFS文件系统hadoop fs -cat file:///<path> #file表示本地文件系统如果是文件,则按照如下格式返回文件信息: 文件名 <副本数>原创 2017-12-13 20:43:27 · 471 阅读 · 0 评论 -
(Hadoop学习笔记-3) HDFS工作原理
一、HDFS最基本运行流程 1.组成: NameNode: 存放文件的元数据信息(数据分成了多少个block,多少副本,不同的block分到了哪些DataNode上),也即hdfs文件系统中的文件与真实的block之间的映射关系。其格式为:filename,replicas,block_id,id2host(文件名,副本数,block_id,block到主机NameNode的映射),结合上图好好原创 2017-12-15 22:08:16 · 485 阅读 · 0 评论 -
Hadoop(四) MapReduce+Yarn运行机制
之前详细介绍了HDFS的运行机制:HDFS运行原理,今天介绍一下Hadoop中另外两个关键的组成部分:MapReduce和Yarn的运行机制。 首先普及一下概念: HDFS:负责海量数据的存储 MapReduce:负责海量数据的分析和计算 Yarn:负责资源管理调度一、Yarn运行机制一个MapReduce程序完成后,需要提交给yarn执行。具体的机制如下:Hadoop运行jar包,启动一原创 2017-12-19 22:42:16 · 592 阅读 · 0 评论