![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 75
shaonianbz
相信奋斗的力量,相信努力的力量
展开
-
Hadoop简介
1、什么是Hadoop(1)Hadoop是apache旗下的一套开源软件平台(2)Hadoop提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理(3)Hadoop的核心组件有:HDFS(分布式文件系统)YARN(运算资源调度系统)MAPREDUCE(分布式运算编程框架)(4)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态...原创 2018-04-22 17:38:03 · 362 阅读 · 0 评论 -
Hadoop的安装与配置
1、准备工作(1)准备linux环境:(具体请参考我的linux相关博客,都有介绍,这里就不一一讲解)将虚拟机的网络模式选为NAT修改主机名修改IP修改主机名和IP的映射关系关闭防火墙修改sudo配置ssh免登陆(3)下载Hadoop安装包(这里版本为2.6.4) 下载地址:http://hadoop.apache.org/releases.html(4)安装jd...原创 2018-04-22 21:58:14 · 521 阅读 · 0 评论 -
HDFS的命令
(1)hdfs客户端的位置/home/hadoop/apps/hadoop-2.6.4/bin/hadoop(2)启动hdfs查看根目录[hadoop@mini01 hadoop-2.6.4]$ hadoop fs -ls /(3)上传文件到根目录(此根目录不是Linux的根目录,是hdfs的根目录)#先创建wenjian.txt文件,并写入内容[hadoop@m...原创 2018-04-24 15:35:48 · 306 阅读 · 0 评论 -
HDFS的原理与基本概念
HDFS的基本概念1、HDFS前言(1)设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析(2)在大数据系统中作用 为各类分布式运算框架(如:mapreduce,spark,tez,…)提供数据存储服务(3)重点概念 文件切块,副本存放,元数据2、HDFS的概念和特性概念: (1)它是一个文件系...原创 2018-04-24 17:14:35 · 657 阅读 · 0 评论 -
HDFS的java操作
1、搭建环境2、获取api的客户端对象3、4、原创 2018-04-24 17:16:14 · 129 阅读 · 0 评论 -
namenode和datanode的工作机制
namenode工作机制1、namenode职责(1)负责客户端请求的响应(2)元数据的管理(查询,修改)2、元数据管理namenode对数据的管理采用了三种存储形式:内存元数据(NameSystem)磁盘元数据镜像文件数据操作日志文件(可通过日志运算出元数据)2.1元数据存储机制内存中有一份完整的元数据(内存meta data)磁盘有一个“准完...原创 2018-04-28 17:45:25 · 2951 阅读 · 0 评论