Hadoop
文章平均质量分 96
(─__─)
这个作者很懒,什么都没留下…
展开
-
(三)hadoop---HDFS架构、读写过程、高可用方案,hdfs命令
文章目录Hadoop架构Hadoop如何工作HDFS体系结构HDFS 写文件过程HDFS 读文件过程HDFS 可靠性HDFS高可用方案在 Hadoop 1.0 时代Hadoop2.0方法一:HDFS联盟1.1 问题缘由1.2 解决方法方法二:HDFS HAHDFS 常用操作命令新建目录列出内容上传文件下载文件复制文件查看文件内容删除文件删除文件夹hdfs帮忙文档查看HDFS的状态Hadoop架构参考:https://cloud.tencent.com/developer/article/1005706原创 2022-01-07 14:27:16 · 1515 阅读 · 0 评论 -
(二)大数据---Hadoop组件介绍,区别
文章目录HDFS: 分布式文件系统YARN: 分布式资源管理MapReduce、Spark、Flink: 分布式计算框架Yarn/Mesos :分布式资源管理器zookeeper:分布式协作服务sqoop:数据同步工具hive / Impala 基于Hadoop的数据仓库Hbase:分布式列存储数据库Flume:日志手机工具Kafka:分布式消息队列Oozie:工作流调度器Others: 利用YARN的资源管理功能实现其他的数据处理方式内部各个节点基本都是采用Master-Woke原创 2022-01-05 16:51:02 · 1014 阅读 · 0 评论 -
(一)大数据---Hadoop整体介绍(架构层)----(组件、引擎)分类
文章目录一、大数据介绍1、基本介绍2、大数据的特性二、大数据技术有哪些(`重点`)1、数据采集与预处理2、数据存储3、数据清洗(引擎)4、数据查询分析5、数据可视化大数据计算引擎的分类:三、大数据解决方案传统方案Google方案Hadoop方案一、大数据介绍1、基本介绍1、什么是大数据大数据是指无法利用传统计算技术进行处理的大规模数据集合。大数据概念不再只是数据,大数据已经成为一个全面的主题概念,包含各类工具、技术以及框架。2、大数据三种数据类型结构化数据:关系型数据。半结构化数据:XML数据原创 2022-01-05 16:49:21 · 6302 阅读 · 0 评论