![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据Review
HaydenWang1102
这个作者很懒,什么都没留下…
展开
-
Hadoop——MapReduce
Hadoop——MapReduce 一、mapreduce mapreduce介绍 MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例(许多 Map 和 Reduce)的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表,输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表,然后根据它们的键(为每个键生成一个键/值对)缩小键/值对列表。 Map原创 2020-11-11 10:15:27 · 157 阅读 · 0 评论 -
Hadoop——Yarn
Hadoop——Yarn yarn官方文档 1. Yarn功能介绍: yarn为hadoop的分布式集群资源管理系统,市hadoop2.0的一特性。其特点为 1、支持非mapreduce应用的需求 2、可扩展性 3、提高资源是用率 4、用户敏捷性 5、可以通过搭建为高可用 2.Yarn组成部分: ResourceManger ResourceManger用来主要有两个功能。一个是任务分配,一个是资源调度。其中ApplicitionManager执行任务分配原创 2020-11-05 20:06:54 · 286 阅读 · 1 评论 -
Flume
Flume 一、概念介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 ...原创 2020-10-21 18:16:41 · 150 阅读 · 1 评论 -
大数据复习篇
自我声明 此篇开始是个人大数据开发相关的复习篇: 顺序为 Linux 配置 指令 Shell Hadoop HDFS MapReduce Yarn Zookeeper Redis Hive Hbase Flume - Sqoo...原创 2019-09-19 20:28:54 · 157 阅读 · 0 评论 -
Hadoop——HDFS
Hadoop——HDFS 1. HDFS工作机制:NameNode 存放信息 元数据(地址 如:\aa\bb) 块信息(块大小、副本数量、块位置(分布在哪些节点)) 存放位置 存放位置:内存 (与磁盘) c存放结构:树 配置 首先下载jdk,hadoop 配置环境 vi /etc/profile 初始化hdfs要配置三个文件./etc/core-site.xml ....原创 2019-09-22 09:03:28 · 117 阅读 · 0 评论 -
Linux基本配置
Linux基本配置 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/liwei26/article/details/84951759 在VMware Workstation Pro上搭建Linux集群,在下用的是CentOS-6.10。网络方式为NAT。安装步骤省略,此次着重在网络配...原创 2019-09-19 21:42:29 · 98 阅读 · 0 评论