![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
doublejie1001
这个作者很懒,什么都没留下…
展开
-
(6) Hive
https://www.bilibili.com/video/BV1EZ4y1G7iL?from=search&seid=9593247233200036247 Hive基础学习 125节课 3天 重点是 安装 UDF函数 JVM调优 一、 Hive基本概念 1 什么是hive 2 优缺点 3 架构原理 4 和其他数据库比较 二 Hive安装 元数据配置Mysql 三 内部表和外部表 可以设置互换 ...原创 2021-09-02 17:54:16 · 118 阅读 · 0 评论 -
(5) YARN
一 理论 1 yarn基础架构 2 工作机制 3 mapreduce/hdfs/yarn配合工作 4 yarn调度器和调度算法 5 生产环境下的参数解释 6 命令行操作yarn 二 使用 1 生产环境参数配置 2 容量调度器生产实现 3 yarn公平调度器在生产实现 4 yarn的tool接口 5 回收站 ...原创 2021-08-27 11:42:49 · 85 阅读 · 0 评论 -
(4)MapReduce (非重点,生产已经被spark取代)
alt+回车 idea重写方法 一 MR概述 1 定义 2 优缺点 3 wordcount案例 二 序列化 三 核心框架原理 1 输入的数据 2 shuffle 3 输出数据 4 Join 5 ETL 6 总结 四 压缩 1 各种压缩算法 2 各种算法特点 3 生产使用情况 五 常见的问题解决方案 ...原创 2021-08-26 17:44:14 · 175 阅读 · 0 评论 -
(3)HDFS全面详细解释 重点
生产环境用HA 高可用 双namenode 一 概述 1 HDFS产生背景和定义 2 优缺点 3 组成 4文件块大小 二 HDFS的shell相关操作(开发重点) 上传 put 下载 get 三 HDFS的客户端api 优先级别 最高在右边 四 HDFS的读写流程(面试重点) 读取数据从block0开始顺序读取 五 NN和2NN(了解) 六 DataNode工作机制(了解) 七 数据完整性 ...原创 2021-08-25 11:20:15 · 66 阅读 · 0 评论 -
(1)大数据hadoop
来源 非常感谢 https://www.bilibili.com/video/BV1Qp4y1n7EN?p=9&spm_id_from=pageDriver 共178集 预计一周看完 每天30集 大数据特点 大量 高速 多样 低价值密度 hadoop框架 一、 概念 1 是什么 由apache基金会所开发的分布式系统基础架构 主要解决海量的数据的存储和分析计算问题 广义上来说是hadoop生态圈,例如hbase hive 2 发展历史 3 三大版本 apache cloudera(CDH)收原创 2021-08-25 09:52:01 · 91 阅读 · 0 评论 -
(2)hadoop集群部署和常见面试题和常见问题
core配置 HDFS配置 YARN mr配置 分发 准备启动集群 配置workers 第一次启动 简单测试 数据位置 数据高可用 在三个服务器中都有数据备份 配置历史服务器 配置历史日志聚集 集群启动和停止 常见面试题目 必须各个节点的datanode进程都删除 ,然后重新格式化,重启集群 —————————————————————————————————————————————————————— 时间同步(看看就行,不需要执行) ...原创 2021-08-24 14:19:16 · 130 阅读 · 0 评论