【大数据】基于大数据平台的日志分析系统 Day2-Hadoop整体介绍及集群搭建

目录

大数据简介¶

Hadoop整体概念¶

Hadoop 集群搭建¶

分布式集群搭建¶

伪分布式搭建¶

---

大数据简介¶

数据¶

数据就是数值，也就是我们通过观察、实验或计算得出的结果。数据有很多种，最简单的就是数字。数据也可以是文字、图像、声音等。在计算机系统中，数据以二进制信息单元 0,1 的形式表示。

大数据¶

大数据（big data），指的是在一定时间范围内不能以常规软件工具处理（存储和计算）的大而复杂的数据集。

• 数据衡量单位
  • 从小到大排列：bit、Byte、KB、MB、GB、TB、PB、EB、 ZB、YB、BB、NB、DB

据国际数据公司(IDC)统计，全球数据总量预计 2020 年达到 44ZB，中国数据量将达到 8060EB， 占全球数据总量的 18%

• 大数据的特点
  • 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息
    • 新浪微博，3 亿用户，每天上亿条微博
    • 朋友圈，8 亿用户，每天亿级别朋友圈
  • 种类（Variety）：数据类型的多样性，包括文本，图片，视频，音频
    • 结构化数据：可以用二维数据库表来抽象，抽取数据规律
    • 半结构化数据：介于结构化和非结构化之间，主要指 XML，HTML 等，也可称非结构化
    • 非结构化数据：不可用二维表抽象，比如图片，图像，音频，视频等
  • 速度（Velocity）：指获得数据的速度以及处理数据的速度
    • 数据的产生呈指数式爆炸式增长
    • 处理数据要求的延时越来越低
  • 价值（Value）：合理运用大数据，以低成本创造高价值
    • 单条数据记录无价值，无用数据多
    • 综合价值大，隐含价值大

一句话：容量大，种类多，速度快，价值高

Hadoop整体概念¶

产生背景¶

• Hadoop 是Apache Lucene 创始人 Doug Cutting 创建的，最早起源于 Apache Nutch项目。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题 ——如何解决数十亿网页的存储和索引问题
• 2003 年、2004 年谷歌发表的三篇论文为该问题提供了可行的解决方案
  • 分布式文件系统 GFS，可用于处理海量网页的存储
  • 分布式计算框架 MapReduce，可用于处理海量网页的索引计算问题
  • 分布式数据库 BigTable，每一张表可以存储上 billions 行和 millions 列
• Nutch 的开发人员完成了相应的开源实现 HDFS 和 MapReduce，并从 Nutch 中剥离成为独立项目 Hadoop，到 2008 年 1 月，Hadoop 成为 Apache 顶级项目，迎来了它的快速发展期

什么是Hadoop¶