![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习
Code_My_Dream
这个作者很懒,什么都没留下…
展开
-
Apache Hadoop介绍
Hadoop 是 Apache Lucene 创始人 Doug Cutting 创建的。最早起源于 Nutch,它是 Lucene 的子项目。Nutch 的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题:如何解决数十亿网页的存储和索引问题。2003 年 Google 发表了一篇论文为该问题提供了可行的解决方案。论文中...原创 2018-12-10 20:32:40 · 453 阅读 · 0 评论 -
Hadoop学习 HDFS 使用
HDFS 重要 特性首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。2.1. . master/slave 架构HDFS 采用 master/slave 架构。一般一个 HDFS 集群是有一个 Namenode 和一定数目的 Datanode 组成。Namenode 是 HD...原创 2019-03-21 17:51:50 · 459 阅读 · 0 评论 -
Hive学习总结
1,hive是数据仓库,数据库和数据仓库的区别?数据库:传统的关系型数据库的应用,主要是基本的、日常的事务处理,更关注业务交易处理(OLTP)数据仓库:数据仓库支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询效果,更关注数据分析层面(OLAP)2,hive搭建, hive搭建是按照元数据的存储和管理进行搭建的,hive将元数据保存到mysql。3,hive相关的...原创 2019-08-02 17:15:10 · 616 阅读 · 0 评论