Hadoop学习笔记1

最新推荐文章于 2019-02-14 14:26:13 发布
最新推荐文章于 2019-02-14 14:26:13 发布
阅读量550 收藏
点赞数
分类专栏： Hadoop学习历程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deyu1982/article/details/41759739
版权

1.Hadoop来源

hadoop来源于Google核心技术。

分布式基础设施 :GFS、Chubby和Protocol Buffer

分布式大规模数据处理:MapReduce、Sawzall

分布式数据库:BigTable和Sharding  BitTable对应HBase

1.1GFS的架构


Master 存储数据块信息 双重Master不存在单点问题

Chunkserver存放数据分片信息，会和Master通信确认是否可访问

 1.2 MapReduce架构

MapReduce是把一个大的任务分成多个小的任务                      

UserProgram进程分出一个Master进程管理Mapwork和Reducework。master进程负载


最低0.47元/天 解锁文章
deyu1982
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop学习最完整最全的学习笔记（入门）
qq_43494997的博客
11-14 821
一：hadoop学习的准备工作 1.1：克隆虚拟机 找到自己配置好的虚拟机，右键管理->克隆 下一步 设置克隆虚拟机的位置以及名字 点击完成，等待一段时间即可完成克隆 2.2配置克隆虚拟机 1.修改克隆机的静态ip vim /etc/sysconfig/network-scripts/ifcfg-lo(这个地方看网卡的名字) 可以先用ls /etc/sysconfig/network-sc...
Hadoop学习笔记
Wei_HHH的博客
08-17 326
一、Hadoop是什么？ 首先要讲下分布式：分布式是计算机的一种算法，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现计算机集群的大数据集的分布式处理。 hadoop发展史：雏形开始于2002年的Apache的Nutc
redHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试
iteye_13062的博客
05-14 152
此文章的前提是：知道hadoop是什么，知道什么是分布式系统，了解hdfs和mapreduce的概念和原理。这里只是把笔者在学习hadoop过程中的一些经验和自己的看法分享一下。此文章包括两部分：         1、hadoop 在 redhat linux下的安装过程       网上有很多讲授在windows下通过Cygwin安装hadoop的，笔者认为hadoop原始设计就是...
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
Hadoop学习笔记---基本概念
zhouleilei的专栏
03-24 3711
0、前言：      不做过多介绍Hadoop 网上比比皆是，每本书买来一看，第一张都是千篇一律，本文不做过多阐述，希望将此文建立在对hadoop有些了解的基础上，本文的总体流程是，先提出一个subject，然后根据关联将相关联的概念参数一并带出，虽整体不美观，但有助于将相关知识汇总记忆。 1、Hadoop 版本图:            第一个大的主线是社区版的Hadoop路线图，200
hadoop学习笔记(一)
会飞的石头
04-29 9134
hadoop学习笔记(一)我的个人博客站点地址：孙星的个人博客主页 后续的学习笔记：hadoop学习笔记1 HDFS介绍Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data. 翻译过来就是:一种提供高吞吐量访
Hadoop学习笔记(一)
黑洲非人lyf
02-14 278
HDFS架构图 HDFS:分布式文件系统 DataNode:存放文件或文件副本。块：最小64MB。   Map Reduce的四个阶段： 1、Split阶段（分片输入阶段） 2、Map阶段（需要编码） 3、Shuffle阶段 4、Reduce阶段（需要编码） Word Count实例回顾： 1、Input（输入文件） 2、Split阶段（分片输入阶段），将数据...
Hadoop学习笔记 (一)
无籽西瓜吃吗的博客
07-08 2746
一、 初识Hadoop 2.X1.  Hadoop发展和三大组件功能谷歌的三篇论文：GFS                 --->            HDFSMapReduce      --->            MapReduceBigTable           --->            HBase四大组成部分：*Common         工具，基础，...
hadoop学习笔记（一）
a_victory的博客
03-23 817
Hadoop之FileSystem文件的操作//读数据 Hadoop中的IOUtils类的两个静态方法： 1）IOUtils.copyBytes()，其中in表示拷贝源，System.out表示拷贝目的地（也就是要拷贝到标准输出中去），4096表示用来拷贝的buffer大小，false表明拷贝完成后我们并不关闭拷贝源可拷贝目的地（因为System.out并不需要关闭，in可以在finally语
Hadoop学习笔记(1) ——菜鸟入门
weixin_33748818的博客
07-22 489
Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么？先问一下百度吧： 【百度百科】一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且...
Hadoop学习笔记（一）初识Hadoop
momo1005的博客
10-11 1233
研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。
Hadoop学习笔记2-HDFS的安装与部署以及HDFS Shell命令
deyu1982的专栏
12-06 1346
总结上一次： 1）hadoop是什么？  包含3个组件 HDFS、MapReduce、Common组件 2）HDFS的架构读写操作 包含两个重要的节点NameNode（数据块信息）NataNode 数据块 3) MapReduce框架 input map分 shuffle reduce 汇总 output 4)hadoop的生态系统 hbase hive pig oozie zookeep
Hadoop学习4-HDFS详解1(SNN、副本放置策略)
deyu1982的专栏
12-06 799
总结上一次学习: 1)搭建hdfs集群可能会出现namenode 、datanode进程会挂掉？ 需要查看logs的异常信息在来看 如果namenode没有正常启动，原因可能是没有正确的格式化 如果datanode没有启动，原因可能是namespaceId不一样 正确步骤: rm -rf 本地hdfs存储目录 执行 ./hadoop namenode -format 执行./sta
hadoop6-常见压缩算法
deyu1982的专栏
12-10 762
常见的数据压缩算法 Deflate gzip bzip2 LZO LZ4 Snappy LZO和LZ4算法已经不再hadoop1.x 1)DEFLATW是同时使用LZ77算法和哈夫曼编码的一个无损数据压缩算法，源代码可以在zlib库中找到 gzip是以DEFLATW算法为基础扩展出来的一种算法 2)压缩算法都是空间和时间的转换，更快的压缩时间还是更小的压缩比，可以通过参数来制定
hadoop学习3-MapReduce的集群安装与部署
deyu1982的专栏
12-06 448
复习上一次学习 1)HDFS的配置信息 core-site.xml hdfs-site.xml 2）HDFS集群模式:独立模式、伪分布式模式、分布式模式 3)HDFS Shell命令和启动    FsShell、dfsadmin管理命令、 fsck检查磁盘健康状态 、balancer磁盘均衡器、archive 归档 小文件多将导致namenode过大 4)hadoop1.x与hadoop
hadoop学习笔记 hadoop基础知识
最新发布
09-22
Hadoop是一个开源的分布式计算框架，可用于大数据的存储和处理。...总之，对于Hadoop的学习，除了理解其基础知识和工作原理外，还需要熟悉其常用操作和管理技巧，以及灵活运用Hadoop来解决实际的大数据问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值