Hadoop入门简介

最新推荐文章于 2024-07-11 16:34:57 发布
最新推荐文章于 2024-07-11 16:34:57 发布
阅读量181 收藏
点赞数
分类专栏： 学习 个人 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45324890/article/details/108584290
版权

Hadoop入门

Hadoop概述

1.Hadoop是Apache提供的开源的、可靠的、可扩展的、用于分布式计算的框架
2.Hadoop除了官网提供的发行版以外，各大厂商也提供了发行版：Cloudera的CDH、华为
是HDP
3.Hadoop版本是特别混乱的
这就是Hadoop的可爱小飞象图标

Hadoop发展

  1. 创始人：Doug Cutting(道格.卡丁)和Mike Cafarella 1.
    在2002年，Doug和Mike为了实现搜索引擎Nutch爬取了全网的10亿个网页的数据
  2. 在2003年，Google发表了《The Google FileSystem》（GFS）阐述了google分布式存储的原理，但是并没有对外公开这个框架
  3. 在2004年，Doug和Mike根据谷歌论文设计实现了NDFS - Nutch Distributed
    FileSystem，解决了海量数据的存储问题
  4. 在2004年，Google发表了《The Google MapReduce》阐述了Google的分布式计算的思
    想，同样这篇论文也没有公开框架的使用
  5. Doug和Mike又根据这篇论文设计实现了用于Nutch的MapReduce
  6. 在Nutch0.8版本，Doug将NDFS和MapReduce从Nutch中分离出来组成了Hadoop，同时将NDFS更名为HDFS
  7. 在2008年，Doug加入了Yahoo，开源了Hadoop，在 Yahoo期间设计实现了Pig、HBase等框架
  8. 后来，Yahoo将Hadoop、Pig、HBase等全部贡献了Apache

Hadoop模块

  1. Hadoop Common：基本模块，用于支持其他模块
  2. Hadoop Distributed File System:分布式文件系统。用于存储数据
  3. Hadoop Yarn：用于进行任务调度和资源管理的框架
  4. Hadoop MapReduce：基于Yarn进行并行计算的框架
  5. Hadoop Ozone：用于进行对象存储 - 基于HDFS
  6. Hadoop Submarine：用于机器学习的引擎 - 2019.03.

了解了这么多，今后我们开始一起学习Hadoop的具体细节~~

nobug侠
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop入门简介.pdf
06-28
如果你先了解Hadoop，请您阅读《Hadoop入门简介.pdf》
Hadoop入门
04-10
Hadoop的源起——Lucene ，Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎 。
Hadoop入门教程
03-02
本教程《Hadoop入门教程》旨在为初学者提供全面且深入的指导，帮助他们快速理解并掌握Hadoop的基本概念、架构及应用。教程由Hadoop技术论坛在2010年出版，为当时的开发者提供了宝贵的资源。 一、Hadoop简介 Hadoop...
Hadoop入门帆帆帆帆
01-30
"Hadoop入门指南" 本资源摘要信息对Hadoop进行了详细的介绍，从是什么、发展历史、架构到应用场景、优势等方面进行了全方位的探索，让读者对Hadoop有一个系统的了解。 一、Hadoop是什么？ Hadoop是一个由Apache...
Hadoop入门讲解
07-17
hadoop入门讲解，讲的都是基础知识，包括背景、构成、应用场景。适合新手入门。
Hadoop的NameNode详解（超详细）
weixin_45324890的博客
09-15 4470
NameNode详解 管理DataNode和记录元数据Meta 元数据包含： a. 记录数据的虚拟存储路径 b. 记录文件的切块数量 c. 记录数据块的存储位置 d. 记录数据块的复本数量 e. 记录文件权限 元数据的大小是在150B左右 NameNode将元数据维系在内存以及磁盘中 元数据维系在内存中的目的是为了快速查询 元数据维系在磁盘中的目的是为了崩溃恢复 元数据的存储位置是由hadoop.tmp.dir属性决定，如果不配置则默认使用/tmp 元数据在磁盘中是以edits文件和fsimage
【IDEA双击快捷方式无法打开】
weixin_45324890的博客
11-25 1103
【IDEA双击快捷方式无法打开】Idea.bat可以正常打开 原因： 下载的某些文件导致Visual C++文件被破坏，得重新下载一个（不用删除） 具体操作： 官方正版链接：点击跳转 进入下载64位的所以选中间X64：VC redist.x64.exe（按照自己需求下载） 下载完成后直接打开，直接安装，安装完毕会要求重启系统，重启即可，重启后双击快捷就可以打开了。 问题解决！！！ ...
Hadoop一些数据案例
weixin_45324890的博客
09-15 791
数据案例 1）纽约时报当时累计4TB纸质文档资料，要将这些资料扫描为PDF，用了Hadoop，耗时24小时，成本240美元搞定了。由此可见，Hadoop的高校性和廉价性（Hadoop本身也有一套比较完善的检测机制确保集群正常运行） 2）国内的很多公司在08年就开始使用Hadoop处理大规模数据集。比如淘宝，百度，华为，中国移动等等。 淘宝的Hadoop应用 支付宝的Hadoop应用 Hadoop的技术细节 一、概述 在HDFS中，存在两类主要的节点：NameNode和DataNode NameNode
Hadoop的DataNode及技术细节
weixin_45324890的博客
09-16 485
一、DataNode 用于存储数据，注意数据是以Block形式存储 数据在DataNode上的存储位置由hadoop.tmp.dir属性决定，存储目录是dfs/data/current/块池/current/finalized/subdir0/subdir0 DataNode会通过心跳机制（RPC方式）来向NameNode发送心跳信息 Hadoop的HDFS体系结构 二、SecondaryNameNode SecondaryNameNode只是辅助NameNode进行元数据的合并 Secondary
大数据量级的Excel表格某一列加密
weixin_45324890的博客
11-23 302
Excel表格列加密 将一列的数据加密，并填入到下一列中，每次加密都是随机的，但是同一数据加密后，解密唯一 public static void main(String[] args) { Workbook wb = null; try { String filepath = "C:\\Users\\xuyongqian\\Desktop\\用户信息20201120.xls"; InputStream is = new FileInputStream(file
索引技巧
weixin_45324890的博客
11-25 223
论索引技巧 1、并不是所有索引对查询都有效 SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时， SQL查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半， 那么即使在sex上建了索引也对查询效率起不了作用 2、索引并不是越多越好 索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率， 因为 insert 或 update 时有可能会**重建索引**，所以怎样建索引需要慎重考虑，视具体情况而定。 **一个表的索引数最好
前端项目nodejs的相关操作
weixin_45324890的博客
12-09 185
IntelliJ IDEA环境搭建 NodeJS nodejs在idea中的配置 默认安装好了IDEA，在IDEA的file -> setting ->Plugin搜索nodejs下载，重启 导入前端项目后 在控制台输入npm run dev 运行程序 命令： 1、npm run build 进行打包，包是dist文件夹，修改src下的js文件中的ip 2、我们在windows系统安装完node.js和npm后，由于需要加速从而选择安装cnpm，命令如下： npm install -g cnp
服务器上Mysql安装
weixin_45324890的博客
09-15 162
一、下载Mysql 下载地址：https://downloads.mysql.com/archives/community/ 二、环境配置 检测系统是否自带Mysql # rmp -qa|grep mysql 如果有进行强行卸载 # rpm -e --nodeps mysql-libs-5.1.52-1.el6_0.1.x86_64 检测系统是否自带mariadb # rpm -qa|grep mariadb # rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x8
Mysql主从热备
weixin_45324890的博客
09-15 135
MySQL主从冷备安装 1-环境准备 1.俩台服务器 192.168.3.177 #主服务器 192.168.3.178 #从服务器 2.俩台服务器分别安装mysql5.7 #创建mysql用户 groupadd mysql useradd -r -g mysql mysql passwd mysql #创建mysql目录并赋权： cd /home/ mkdir -p mysql chown -R mysql:mysql mysql #移动安装包 tar -zxvf mysql-5.7.22-linux-
事务
weixin_45324890的博客
12-09 105
什么是事务？ 百度百科中解释：指作为单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全地不执行。 简单的说，事务就是并发控制的单位，是用户定义的一个操作序列。 而一个逻辑工作单元要成为事务，就必须满足ACID属性。 A：原子性（Atomicity） 事务中的操作要么都不做，要么就全做。 C：一致性（Consistency） 事务执行的结果必须是从数据库从一个一致性状态转换到另一个一致性状态。 I：隔离性（Isolation） 一个事务的执行不能被其他事务干扰 D：持久性（Durability） 一
数据库SQL优化总结
weixin_45324890的博客
11-25 74
数据库优化（更新） 1.尽可能避免全表查询，首先应考虑在 where 及 order by 涉及的列上建立索引 索引技巧 2.SQL语句尽可能减少表的全局扫描 1、尽量少使用like模糊查询 2、应尽量避免在 where 子句中对字段进行表达式操作*where row/2=100 3、任何地方都不要使用*通配符去查询所有 4、 exists 代替 in 5、减少where 字段值null判断 6、 应尽量避免在 where 子句中使用!=或<>操作符 7、应尽量避免在 where 子句中使用
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
最新发布
jiang0615csdn的博客
07-11 180
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
Hive/Spark窗口函数
初阳
07-09 796
结果中，对于每一行的last_value的结果都是当前值，并不分区中按salary升序的最后一个值。前面在提到last_value时，特意强调了该函数的结果并不是分区中的最后一个值，结合上述介绍的window specification再来看下该函数的结果值。注意，默认情况下last_value取的是第一行截止到当前行的最后一个值(当前行的值)，并不是整个分区中排序后的最后一个值。注意，如果order by的结果相同，则rank得到的结果都相同，在这里的语义是排序结果相同，因此等级编号也相同。
hadoop基础.docx
06-03
"这是关于Hadoop的基础知识文档，涵盖了Hadoop的历史、功能、优势、相关工具、版本、安装、HDFS的基本概念和策略以及MapReduce原理和实例。" Hadoop是因谷歌提出的三大数据技术（包括GFS、MapReduce和BigTable）而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值