![](https://img-blog.csdnimg.cn/20191024013332854.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop
响彻天堂丶
那万一赢了呢?
展开
-
hadoop3 集群搭建
【代码】hadoop3 集群搭建。原创 2022-12-31 15:45:53 · 430 阅读 · 1 评论 -
Hadoop从入门到进阶 hbase核心概念&&集群搭建(六)
1 什么是HBASEHBASE与mysql、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)Hbase的表模型与关系型数据库的表模型不同:Hbase的表没有固定的字段定义;Hbase的表中每行存储的都是一些key-value对Hbase的表中有列族的划分,用户可以指定将哪些kv插入哪个列族Hbase的表在物理存储上,是按照列族来分割...原创 2019-11-09 14:25:37 · 2938 阅读 · 0 评论 -
Hadoop从入门到进阶 Hive安装与入门(五)
1 什么是HIVE1)Hive 由 Facebook 实现并开源2)是基于 Hadoop 的一个数据仓库工具3)可以将结构化的数据映射为一张数据库表4)并提供 HQL(Hive SQL)查询功能5)底层数据是存储在 HDFS 上6)Hive的本质是将 SQL 语句转换为 MapReduce 任务运行7)使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上...原创 2019-11-02 14:55:57 · 3075 阅读 · 0 评论 -
Hadoop从入门到进阶 HDFS高可用集群 && Yarn高可用集群 搭建(四)
1 Hadoop 高可用概述1)Active NameNode 和 Standby NameNode:两台 NameNode 形成互备,一台处于 Active 状态,为主 NameNode,另外一台处于 Standby 状态,为备 NameNode,只有主 NameNode 才能对外提供读写服务。2)主备切换控制器 ZKFailoverController:ZKFailoverControll...原创 2019-11-01 01:21:14 · 8339 阅读 · 5 评论 -
Hadoop从入门到进阶 一文读懂Yarn(三)
1 Yarn 简介YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 框架的不足,提高集群环境下的资源利用率,这些资源包括内存,磁盘,网络,IO等。Hadoop2.X 版本中重新设计的这个 YARN 集群,具有更好的扩展性,可用性,可靠性,向后兼容性,以 及能支持除 MapReduce 以外的更多分布式计算程序1)YARN 并不清楚用户...原创 2019-10-29 01:51:10 · 4430 阅读 · 4 评论 -
Hadoop从入门到进阶 HDFS常用命令&&JAVA整合HDFS&&HDFS核心流程(二)
1 常用的客户端命令1.1、上传文件cd /usr/local/hadoop-2.8.5/bin#把jdk上传到hadoop根目录,hdfs默认按128M切割数据并且存3副本,可以进入datanode存数据的地方查看当前文件切割./hadoop fs -put /usr/local/jdk-8u144-linux-x64.tar.gz /#如果想要修改备份文件数量和切文件的大小cd ...原创 2019-10-27 01:00:55 · 5059 阅读 · 4 评论 -
Hadoop从入门到进阶之HDFS核心概念及集群搭建(一)
概述:Hadoop自带一个称为HDFS的分布式文件系统,即 Hadoop Distributed Filesystem。在非正式文档或旧文档以及配置文件中,有时也简称为DFS,它们是一回事儿。HDFS是 Hadoop的旗舰级文件系统,也是本章的重点,但实际上Hadoop是一个综合性的文件系统抽象,因此接下来我们将了解将 Hadoop与其他存储系统集成的途径,例如本地文件系统和 Amazon S3系...原创 2019-10-24 01:47:19 · 4926 阅读 · 4 评论