![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
B02、BigData
文章平均质量分 85
会飞还得了
积累点滴不退却,力行目标引潮流。
展开
-
B01 - 022、图解完整版 - VMware15搭建虚拟机、安装CentOS6.9系统
本章学习目录大纲 - 图解完整版用VMware15来搭建虚拟机安装CentOS6系统 VMware15、CentOS6下载链接:少侠,何不执剑江湖? 提取码:xr6d1、搭建虚拟机。磁盘大小:如果用于后续大数据组件的安装与搭建,常用40G即可,如果后续不够,还可以提供硬盘扩容的教程,过程稍显麻烦,但也还好,敬请期待。 - - - ...原创 2019-05-28 10:23:26 · 834 阅读 · 0 评论 -
B05 - 047、MapTask工作机制
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 20:47:50 · 105 阅读 · 0 评论 -
B05 - 048、ReduceTask工作机制
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 20:53:52 · 116 阅读 · 0 评论 -
B05 - 049、Shuffle机制
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:00:29 · 143 阅读 · 0 评论 -
B05 - 050、MapTask并行度机制
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:09:35 · 110 阅读 · 0 评论 -
B05 - 051、Reducetask并行度机制
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:11:32 · 137 阅读 · 0 评论 -
B05 - 052、MapReduce优化 - 资源相关参数
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:24:03 · 150 阅读 · 0 评论 -
B05 - 053、MapReduce优化 - 容错相关参数
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:32:48 · 136 阅读 · 0 评论 -
B05 - 054、MapReduce优化 - 效率跟稳定性参数
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:39:09 · 187 阅读 · 0 评论 -
B05 - 055、Yarn介绍
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:44:59 · 149 阅读 · 0 评论 -
B05 - 056、Yarn基本架构
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:49:51 · 369 阅读 · 0 评论 -
B05 - 057、Yarn三大组件介绍
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 21:56:53 · 972 阅读 · 0 评论 -
B05 - 058、Yarn运行流程
0、Mapreduce的combiner初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Mapreduce的combiner记忆词: combiner ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Mapreduce的combiner每一个 map 都可能会产生大量的本地输出,Combiner 的作用就是对 ...原创 2019-06-18 22:00:09 · 121 阅读 · 0 评论 -
B02 - 003、Hadoop、完全分布式、CDH5.14.0 - 2.6.0、离线存储、计算、管理
0、本章学习目录大纲 - 三台虚拟机初学耗时:0.5h一、 T01模板回顾。 B01 - 001、搭建一台适应大数据环境的CentOS7.6的虚拟机模板、T01 1.1 搭建虚拟机。 1.2 安装CentOS7.6。 1.3 配置联网,更改IP。 1.4 登录虚拟机终端。 1.5 关闭防火墙。 1.6 关闭Selinux。 ...原创 2019-06-04 10:47:08 · 349 阅读 · 0 评论 -
B01 - 999、搭建大数据环境下的虚拟机
初学耗时:999h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。『 因为要去见那个不一般的人,所以我就不能是一般人。』 B99、要学就学大数据 - B系列总纲 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ B01 - 999、大数据环境下的虚拟机模板 第 1 章: B01 - 001:B01 - 0...原创 2019-06-21 08:05:36 · 224 阅读 · 0 评论 -
B03 - 999、不学点Linux你怎么搞大数据?
初学耗时:999h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。『 因为要去见那个不一般的人,所以我就不能是一般人。』 B99、要学就学大数据 - B系列总纲 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ B03 - 999、不学点Linux你怎么搞大数据? 第 1 章: B03 - 001:B03...原创 2019-06-21 08:38:48 · 198 阅读 · 0 评论 -
B05 - 009、大数据时代的变革
0、大数据时代的变革初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、大数据时代的变革 1.1 思维变革。 1.2 商业变革。 1.3 管理变革。记忆词: 思维变革:数据样本、效率、相关性 商业变革:数据化、价值、角色定位 管理变革:风险、掌控 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ ...原创 2019-06-17 19:49:26 · 626 阅读 · 0 评论 -
B05 - 010、数据分析方法论与数据分析的区别
0、数据分析方法论与数据分析的区别初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、数据分析方法论与数据分析的区别 1.1 数据分析方法论。 1.2 数据分析。记忆词: 数据分析方法论、数据分析 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、数据分析方法论与数据分析的区别 1.1 ~ 数据...原创 2019-06-17 19:53:24 · 351 阅读 · 0 评论 -
B05 - 011、数据分析方法论的重要性
0、数据分析方法论的重要性初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、数据分析方法论的重要性 1.1 做数据分析会遇到的问题。 1.2 数据分析方法论的作用。记忆词: 数据分析结构体系化 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、数据分析方法论的重要性 1.1 ~ 做数据...原创 2019-06-17 19:59:30 · 395 阅读 · 0 评论 -
B05 - 012、常用的数据分析方法论
0、常用的数据分析方法论初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、常用的数据分析方法论 1.1 PEST分析法。 1.2 5W2H分析法。 1.3 逻辑树分析法。 1.4 4P营销理论。 1.5 用户行为理论。记忆词: PEST分析法、5W2H分析法、逻辑树分析法 4P营销理论、用户行为理论...原创 2019-06-17 20:05:54 · 710 阅读 · 0 评论 -
B05 - 013、Hadoop介绍
0、Hadoop介绍初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop介绍 1.1 Hadoop是什么? 1.2 Hadoop版本。 1.3 狭义上的Hadoop - 核心组件。 1.4 广义上的Hadoop - 生态圈。记忆词: Hadoop生态圈、HDFS、MapReduce、Yarn ギ ...原创 2019-06-17 20:27:51 · 151 阅读 · 0 评论 -
B05 - 014、Hadoop发展简史
0、Hadoop发展简史初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop发展简史记忆词: ... ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop发展简史Hadoop 是 Apache Lucene 创始人 Doug Cutting 创建的。最早起源于 Nutch,它是 Lucene ...原创 2019-06-17 20:34:31 · 205 阅读 · 0 评论 -
B05 - 015、Hadoop特性优点
0、Hadoop特性优点初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop特性优点 1.1 扩容能力(Scalable) 1.2 成本低(Economical) 1.3 高效率(Efficient) 1.4 可靠性(Rellable)记忆词: 扩容能力、成本低、高效率、可靠性 ギ 舒适区ゾ ||...原创 2019-06-17 20:39:22 · 292 阅读 · 0 评论 -
B05 - 016、Hadoop国内外应用
0、Hadoop国内外应用初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop国内外应用 1.1 国外。 1.2 国内。记忆词: 个人征信、投资模型、路况监控、用户上网行为 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop国内外应用不管是国内还是国外,Hadoop 最受青...原创 2019-06-17 20:44:08 · 286 阅读 · 0 评论 -
B05 - 017、Hadoop发行版本
0、Hadoop发行版本初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop发行版本 1.1 社区版、商业版。 1.2 Hadoop版本。 1.3 Hadoop当下稳定版本。 1.4 集群划分概念。记忆词: CDH5.14.0 - Hadoop 2.6.0 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ ...原创 2019-06-17 20:51:35 · 774 阅读 · 0 评论 -
B05 - 018、Hadoop集群基本概念
0、Hadoop集群基本概念初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop集群基本概念 1.1 Hadoop核心组件的概念。 1.2 Hadoop的部署方式。记忆词: 独立模式、伪分布式、完全分布式 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop集群基本概念 1....原创 2019-06-17 20:56:15 · 348 阅读 · 0 评论 -
B05 - 019、Hadoop集群安装
0、Hadoop集群安装初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop集群安装 1.1 Hadoop、CDH5.14.0 - 2.6.0、源码包编译。 1.2 伪分布式【学习环境】。 1.3 完全分布式 - HA高可用【工作环境】。记忆词: Hadoop编译、伪分布式、完全分布式延伸博文链接推荐:...原创 2019-06-17 21:18:04 · 112 阅读 · 0 评论 -
B05 - 020、HDFS初体验
0、HDFS初体验初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS 1.1 创建文件夹。 1.2 上传文件。记忆词: 50070、hdfs dfs -mkdir -p ... ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、HDFS 1.1 ~ 创建文件夹。# 老版命令had...原创 2019-06-17 21:23:17 · 314 阅读 · 0 评论 -
B05 - 021、MapReduce初体验
0、MapReduce初体验初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、MapReduce 1.1 查找系统自带的jar包。 1.2 圆周率计算。 1.3 单词统计。记忆词: 8088、hadoop jar ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、MapReduce 1...原创 2019-06-17 21:28:58 · 125 阅读 · 0 评论 -
B05 - 022、HDFS介绍
0、HDFS介绍初学耗时:??h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS介绍记忆词: 分布式存储、元数据管理、分块存储、副本机制、抽象称为目录树结构 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、HDFS介绍HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop ...原创 2019-06-17 21:34:02 · 141 阅读 · 0 评论 -
B05 - 023、HDFS设计目标
0、HDFS设计目标初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS设计目标记忆词: 故障检测、自动快速恢复、批量处理 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 二、HDFS设计目标硬件故障是常态, HDFS 将有成百上千的服务器组成,每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是 ...原创 2019-06-17 21:41:16 · 149 阅读 · 0 评论 -
B05 - 024、HDFS重要特性
0、HDFS重要特性初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS重要特性 1.1 master/slave架构。 1.2 分块存储。 1.3 命名空间(NameSpace)。 1.4 Namenode元数据管理。 1.5 Datanode数据存储。 1.6 副本机制。 1.7 一次写入,多...原创 2019-06-17 21:49:16 · 119 阅读 · 0 评论 -
B05 - 025、HDFS基本命令
0、本章学习目录大纲 -初学耗时:??h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、 1.1 1.2 二、 2.1 2.2 三、 3.1 3.2 四、 4.1 4.2 五、 5.1 5.2 六、 6.1 6.2 七、 7.1 7.2 ギ 舒适区...原创 2019-06-17 22:29:22 · 153 阅读 · 0 评论 -
B05 - 026、HDFS高级命令 - 文件限额配置
0、HDFS高级命令 - 文件限额配置初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS文件限额配置 1.1 数量限额。 1.2 空间大小限额。记忆词: hdfs dfsadmin、hdfs dfs -count ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、HDFS高级命令 - 文件限额配置...原创 2019-06-17 22:38:51 · 284 阅读 · 0 评论 -
B05 - 027、HDFS高级命令 - 安全模式
0、HDFS高级命令 - 安全模式初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS安全模式记忆词: hdfs dfsadmin -safemode ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、HDFS高级命令 - 安全模式安全模式是HDFS所处的一种特殊状态。在这种状态下,文件系统只接受读数据...原创 2019-06-17 22:47:25 · 131 阅读 · 0 评论 -
B05 - 028、Hadoop基准测试
0、HDFS基准测试初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop基准测试 1.1 测试写入速度。 1.2 测试读取速度。 1.3 清除测试数据。 1.4 基准测试参考。记忆词: hdfs dfs -text ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop基准测试...原创 2019-06-17 23:06:14 · 189 阅读 · 0 评论 -
B05 - 029、Hadoop基本原理 - NameNode概述
0、Hadoop基本原理 - NameNode概述初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、NameNode概述记忆词: ... ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop基本原理 - NameNode概述NameNode 是 HDFS 的核心。NameNode 也称为 Master。...原创 2019-06-17 23:17:41 · 120 阅读 · 0 评论 -
B05 - 030、Hadoop基本原理 - DataNode概述
0、Hadoop基本原理 - DataNode概述初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、Hadoop基本原理 - DataNode概述记忆词: ... ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、Hadoop基本原理 - DataNode概述DataNode 负责将实际数据存储在 HDFS 中。...原创 2019-06-17 23:26:06 · 153 阅读 · 0 评论 -
B05 - 031、HDFS的工作机制
0、HDFS的工作机制初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、HDFS的工作机制记忆词: ... ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、HDFS的工作机制NameNode 负责管理整个文件系统元数据;DataNode 负责管理具体文件数据块存储;Secondary NameNode 协助 Na...原创 2019-06-18 05:56:19 · 135 阅读 · 0 评论 -
B05 - 032、文件副本机制以及block块存储
0、文件副本机制以及block块存储初学耗时:0.5h注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。一、文件副本机制以及block块存储 1.1 抽象成数据块的好处。 1.2 块存储。 1.3 HDFS文件权限验证。记忆词: 数据块、块存储、文件权限 ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、文件副本机制以及b...原创 2019-06-18 06:09:52 · 267 阅读 · 0 评论