大数据技术介绍:01大数据概述

大数据技术框架:
在这里插入图片描述

Hadoop生态系统(1)
在这里插入图片描述

Hadoop生态系统(2)
在这里插入图片描述

Hadoop构成:Flume(非结构化数据收集):
Cloudera开源的日志收集系统
用于非结构化数据收集
Flume特点
分布式
高可靠性
高容错性
易于定制与扩展

日志收集工具:flume
在这里插入图片描述

Hadoop构成:Sqoop(结构化数据收集)

在这里插入图片描述
Sqoop:SQL-to-Hadoop
连接传统关系型数据库和Hadoop 的桥梁
把关系型数据库的数据导入到Hadoop 系统( 如HDFS,HBase 和Hive) 中;
把数据从Hadoop 系统里抽取并导出到关系型数据库里。
利用MapReduce加快数据传输速度
批处理方式进行数据传输

Hadoop构成:HDFS(分布式文件系统)
源自于Google的GFS论文,发表于2003年10月
HDFS是GFS克隆版

HDFS特点:
良好的扩展性。
高容错性。
适合PB级以上海量数据的存储。

基本原理:
将文件切分成等大的数据块,存储到多台机器上
将数据切分、容错、负载均衡等功能透明化
可将HDFS看成一个容量巨大、具有高容错性的磁盘

应用场景:
海量数据的可靠性存储
数据归档

Hadoop构成:YARN(资源管理系统)
YARN是什么
Hadoop 2.0新增系统
负责集群的资源管理和调度
使得多种计算框架可以运行在一个集群中
YARN的特点
良好的扩展性、高可用性
对多种类型的应用程序进行统一管理和调度
自带了多种多用户调度器,适合共享集群环境

如下图:图1,图2
在这里插入图片描述
在这里插入图片描述

Hadoop构成:MapReduce(分布式计算框架)
源自于Google的MapReduce论文
发表于2004年12月
Hadoop MapReduce是Google MapReduce克隆版
MapReduce特点
良好的扩展性
高容错性
适合PB级以上海量数据的离线处理
在这里插入图片描述

Hadoop构成:Hive(基于MR的数据仓库)
由facebook开源,最初用于解决海量结构化的日志数据统计问题;
ETL(Extraction-Transformation-Loading)工具
构建在Hadoop之上的数据仓库;
数据计算使用MR,数据存储使用HDFS
Hive 定义了一种类SQL 查询语言——HQL;
类似SQL,但不完全相同
通常用于进行离线数据处理(采用MapReduce);
可认为是一个HQL <—>MR的语言翻译器。
日志分析
统计网站一个时间段内的pv、uv
多维度数据分析
大部分互联网公司使用Hive进行日志分析,包括百度、淘宝等
其他场景
海量结构化数据离线分析
低成本进行数据分析(不直接编写MR)

Spark生态系统:
spark主要是面向计算的生态系统,而hadoop则是涉及数据收集、存储、
资源管理和计算等的综合大数据解决方案。
在这里插入图片描述

Flink生态系统:
在这里插入图片描述

典型企业级大数据架构:
在这里插入图片描述

Hadoop发行版介绍(开源版)
Apache Hadoop
推荐使用最新的2.x.x版本,比如2.7.3
下载地址:http://hadoop.apache.org/releases.html
SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/

CDH(Cloudera Distributed Hadoop)
推荐使用最新的CDH5版本,比如CDH5.8.0
下载地址: http://archive.cloudera.com/cdh5/cdh/

HDP(Hortonworks Data Platform
推荐使用最新的HDP 2.x版本,比如HDP 2.6版本
下载地址:http://zh.hortonworks.com/hdp/downloads/

Hadoop版本选择
不同发行版兼容性
架构、部署和使用方法一致,不同之处仅在若干内部实现。
建议选择公司发行版,比如CDH或HDP
类比原生linux与Ubuntu/Red Hat关系
更易维护和升级
经过集成测试,不会面临版本兼容问题

Hadoop集群搭建
全人工搭建
自动化安装软件:Cloudera Manager,Ambari

Hadoop发行版CDH:如下图:
在这里插入图片描述

Hadoop发行版HDP:如下图
在这里插入图片描述

Hadoop全人工模式安装:常见错误
1.防火墙未关闭(所有节点都要关系)
Connection Refused…
2.配置文件抄错
core-site.xml
yarn-site.xml
hdfs-site.xml
以及mapredsite.xml

3.多次格式化HDFS
每次格式化后,均会导致HDFS启动失败,
解决方案:清空HDFS的各个数据目录,然后重启HDFS
格式化HDFS是非常危险的,会导致所有数据丢失!!!

Hadoop运行模式
本地模式:
一个节点,不会启动任何服务
伪分布式模式:
一个节点,所有服务均运行在该节点上
分布式模式:
多于一个节点

自动化安装:Ambari,如下图
在这里插入图片描述

自动化安装:Cloudera Manager
Coudera提供的Hadoop管理系统
软件免费,但代码不开源
迄今为止最好用的Hadoop管理系统
Hadoop自动化安装、部署和配置
Hadoop管理(一站式管理各种服务)
Hadoop监控与报警
Hadoop问题诊断

自动化安装:Cloudera Manager(主界面),如下图:
在这里插入图片描述

自动化安装:Cloudera Manager(节点管理),如下图:

在这里插入图片描述

自动化安装:Cloudera Manager(配置管理),如下图:
在这里插入图片描述

自动化安装:Cloudera Manager(搭建集群),如下图:
在这里插入图片描述

自动化安装:Cloudera Manager(审计),如下图:
在这里插入图片描述

学习大数据技术栈:
Linux虚拟机
Linux教程
http://www.92csz.com/study/linux/

集成开发环境:
Eclipse,intellij IDEA

【项目构建(包管理、编译、发布),maven】
maven教程:
https://yq.aliyun.com/articles/28591
http://www.yiibai.com/maven/
http://wenku.baidu.com/link?url=cceOGhtpf7xHs_KFbI2f_uh0B7uo915pSZhqbO2ymD2ouJ7qhcOZmlc1W9xB6VxHnqu9VPD_M9HloZ_Pt-wuL3uTJ6cfKCxuJm0Z_FSxCm

【Hadoop与Spark版本】
Scala 2.11.X(不能是2.10或2.12),Java 1.8

Hadoop 2.7.3
http://hadoop.apache.org/releases.html

Hive 2.1.1
http://hive.apache.org/downloads.html

Hbase 1.2.4
http://www.apache.org/dyn/closer.cgi/hbase/

Flume 1.7.0
http://flume.apache.org/download.html

Sqoop1.99.7
http://mirror.cc.columbia.edu/pub/software/apache/sqoop/1.99.7/sqoop-1.99.7-binhadoop200.tar.gz

Presto 0.166
https://prestodb.io/docs/current/installation/deployment.html

Spark 2.1.0
http://spark.apache.org/downloads.html

Kafka 0.9.0
http://kafka.apache.org/downloads

Zookeeper 3.4.9
http://zookeeper.apache.org/releases.html#download

====================================
【End:2019-02-02 10:21】

没有更多推荐了,返回首页