Guo某的大数据学习之路-第五天

最新推荐文章于 2019-12-12 08:47:45 发布
最新推荐文章于 2019-12-12 08:47:45 发布
阅读量166 收藏
点赞数 2
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Guoxiang1030_/article/details/103039262
版权

今日学习内容：初识MapReduce

计算框架

是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。

MapReduce计算框架

在这里插入图片描述

并行计算框架

一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。
在这里插入图片描述

Hadoop为什么比传统技术方案快

1、分布式存储
2、分布式并行计算
3、节点横向扩展
4、移动程序到数据端
5、多个数据副本

MapReduce核心思想

分而治之，先分后和：将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，

最低0.47元/天 解锁文章
世界上怎么可能没有迪迦
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce面试题
隔壁的橘猫的博客
11-15 996
MapReduce核心思想 分而治之，先分后合 分是Map 和是reduce 偏移量 指的是每行行首字母移动到文本的最前面需要的距离 Suffle包含哪些步骤 宏观层面： 1.分区 2.排序 3.Combiner（局部聚合） 4.分组 MR从读取数据开始到将最终结果写入HDFS经过哪些步骤 第一步：InputFormat InputFormat 在HDFS文件系统中读取要进行计算的数据 输...
大数据分布式数据处理系统，主要分为哪两种？
多智时代的博客
04-18 9676
大数据的处理模式分为流处理和批处理两种。流处理是直接处理，批处理采用先存储再处理。 　　流处理将数据视为流，源源不断的数据形成数据流。当新的数据到来即立即处理并返回所需的结果。大数据的实时处理是一个极具挑战性的工作，数据具有大规模、持续到达的特点。因此，如果要求实时的处理大数据，必然要求采用分布式的方式，在这种情况下，除了应该考虑分布式系统的一致性问题，还将涉及到分布式系统网络时延的影响，这都增加...
Guo某的大数据学习之路-第一天
Guoxiang1030_的博客
10-24 596
内容概要： 今天主要讲两个知识点：服务器与RAID。 同时，这也是我们学习大数据第一天的内容（下列内容均为课堂讲义） 什么是服务器？ 笔记本 台式机 服务器: 也称伺服器，是一种高性能计算机，提供计算服务的设备。 服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。 由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。 ...
徐培成大数据架构师系列教程之2天Kafka教程
02-22
《徐培成大数据架构师系列教程之2天Kafka教程》是针对大数据处理领域中重要组件Kafka的一次深入学习之旅。Kafka是由LinkedIn开发，后来成为Apache软件基金会的顶级项目，它是一款分布式流处理平台，广泛应用于实时...
com.guo.android_extend android-extend1.0.6.zip
03-24
implementation 'com.guo.android_extend:android-extend:1.0.6'失败，用这个替代就好了 implementation 'com.guo.android_extend:android-extend:1.0.6'失败，用这个替代就好了
guo-cheng#Learning-notes-2021#Linux学习笔记1
最新发布
07-25
第二列按数值大小排序 第二列相同的再按第一列的字母顺序的逆序排序(-r) 第一步所有行变为一行,这一步使用tr 是因为tr里面可以直接识别换行符，而sed不可以
3518-V005guodu-ymqn-ota-200104.zip
07-28
标题中的"3518-V005guodu-ymqn-ota-200104.zip"可能表示这是一个针对特定设备（可能是手机或平板电脑）的固件更新包，其中“3518”可能代表设备型号，“V005”可能是固件版本号，“ymqn”可能是设备制造商或项目代号...
Guo Blog 带魔法表情版 -ASP源码.zip
02-09
总结来说，"Guo Blog 带魔法表情版 -ASP源码.zip" 是一个包含魔法表情功能的ASP博客系统源代码，对于想要学习和研究ASP技术，特别是兴趣于Web开发和用户体验提升的开发者来说，这是一个有价值的学习材料。...
关于Hadoop启动之后jps没有namenode节点的解决方法
热门推荐
Guoxiang1030_的博客
11-01 3万+
安装完Hadoop集群的时候进行网页验证时发现并没有加载出来 检查ip地址是否是namenode所在节点的ip 发现ip地址对应上了，那我们运行一下jps，发现没有192.168.100.201这个节点下并没有namenode 这时候我运行停止所有命令，发现Hadoop01节点没有namenode可以停止 我怀疑问题出在了我多次格式化导致namenode启动不了 这时候就需要删除原目录，即...
Guo某的大数据学习之路-第二天
Guoxiang1030_的博客
10-25 1966
内容概要： 今天向大家介绍一下大数据，以及大数据的特点 同时，这也是我们学习大数据第二天的内容（下列内容均为课堂讲义） 1、大数据概述 传统数据处理介绍 （了解大数据到来之前，传统数据的通用处理模式。） 数据来源: 1、企业内部管理系统 ,如员工考勤（打卡）记录。 2、客户管理系统（CRM） 数据特征： 1、数据增长速度比较缓慢，种类单一。 2、数据量为GB级别，数据量较小。 数据处理方式： 1、...
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException
Guoxiang1030_的博客
11-12 580
今天在敲WordCount的时候，在运行过程中遇到了这个bug~ 19/11/12 08:48:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/11/12 08:48:21 E...
Hive基本操作
Guoxiang1030_的博客
11-20 449
但是数据库的元数据信息是不可更改的，包括数据库的名称以及数据库所在的位置。
Sqoop导出
Guoxiang1030_的博客
12-03 404
将数据从Hadoop生态体系导出到RDBMS数据库导出前，目标表必须存在于目标数据库中。 export有三种模式： 默认操作是从将文件中的数据使用INSERT语句插入到表中。 更新模式：Sqoop将生成UPDATE替换数据库中现有记录的语句。 调用模式：Sqoop将为每条记录创建一个存储过程调用。 以下是export命令语法： $ sqoop export (generic-args) (expo...
Sqoop导入
Guoxiang1030_的博客
12-03 341
“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据 下面的语法用于将数据导入HDFS： $ sqoop import (generic-args) (import-args) Sqoop测试表数据 在mysql中创建数据库userdb，然后执行参考资料中的sql脚本： 创建三张表: emp雇员表、 emp_add雇员地址表、emp_...
Apache ZooKeeper
Guoxiang1030_的博客
12-09 336
1、Zookeeper基本知识 1.1、ZooKeeper集群搭建 Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。 Zookeeper运行需要java环境，所以需要提前安装jdk。对于安装leader+follower模...
Hive基本概念
Guoxiang1030_的博客
11-19 294
1.1、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太...
Guo某的大数据学习之路-第三天
Guoxiang1030_的博客
11-04 211
DataNode作用 1、执行数据的读写（响应的是客户端） 2、周期性向NameNode做汇报（数据块的信息、校验和） 若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3、执行流水线的复制（一点一点复制） 机架感知 实际上需要工程师收到创建一个脚本（python sh ）,脚本中记录主机IP和交换机的对应关系。 配置的位置是core-site.xm...
HBase安装部署
Guoxiang1030_的博客
12-12 211
第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步：压缩包上传并解压 将我们的压缩包上传到Hado...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值