【数据库笔记】Hadoop原理与概念

最新推荐文章于 2024-08-02 16:06:14 发布
最新推荐文章于 2024-08-02 16:06:14 发布
阅读量159 收藏
点赞数
分类专栏： hive 文章标签： 数据仓库 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36056219/article/details/115829604
版权

文章目录

  1. 理解什么是大数据分析以及其应用场景。
  2. 熟悉Hadoop/Hive的基本概念与原理。
  3. 严格按照步骤进行服务器/虚拟机操作。
  4. 熟悉Hive的基本操作。
  5. 使用云实验环境启动Hive。

1 大数据分析简介

大数据：这个名词是近年来伴随着以Hadoop为代表的一系列分布式计算框架的产生才流行起来的。大数据带来的挑战包括数据分析、数据捕获、数据治理、搜索、共享、存储、传输、可视化、查询、更新和信息安全等。术语大数据通常指的是应用预测分析，用户行为分析，或者某些其他从数据中提取有价值信息的高级数据分析方法，并不是专指某种特定规模的数据集（维基百科）

大数据4V特征：指的是数据源和数据种类多样（Variety）、数据产生和处理速度快（Velocity）、生成和存储的数据量大（Volume）和精准性（Veracity）。
在这里插入图片描述
思考：为什么需要大数据分析？

  • 任何企业都不能否认数据的重要性。企业一直都在收集大量的历史数据，并将其保存在数据仓库中以便进行分析。企业可以通过分析历史数据来获得新的增长点，这也证明了数据的重要性。由于数据结构和数据规模的特点，使用传统的数据库和方法已经很难有效地对大数据进行分析，因为我们需要新的工具和技术来存储，管理和实现数据的商业价值。

大数据数据分析的商业驱动因素

商业驱动力案例
优化业务操作销售，报价，利润率，效率
识别业务风险客户流失，欺诈，违约
预测新的商业机会增值销售，追加销售，最佳的潜在新客户
遵守法律或法规要求反洗钱，公平信贷

2 走进Hadoop

2.1 快速认知Hadoop

  1. Hadoop是Apache基金组织下的一套开源软件平台：免费（hive也是免费的）
  2. Hadoop提供的功能：利用服务器集群对海量数据进行分布式处理：数据很多的情况下，用多台服务器处理，加快处理速度
  3. Hadoop的核心组件：HDFS、MapReduce、YARN、Hadoop基础功能库
  4. 广义上来说，Hadoop通常指的是指一个更广泛的概念->Hadoop生态圈
  5. 云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户：类似盖房子，IaaS第一层，PaaS第二层，…（了解）
  6. 现阶段，云计算的两大底层支撑技术为虚拟化和大数据技术
  7. Hadoop是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算本身：Hadoop只是属于PaaS层一个产物或工具
  8. Hadoop广泛应用于数据服务基础平台建设、用户画像、网站点击流日志数据挖掘

2.2 HDFS：块级别的分布式文件存储系统

块级别的理解：

假设一个500M的文件，被均分成4块，分别是p1:128M,p2:128M,p3:128M,p4:116M,这四个块会被随机地分到多个服务器中，假设是3个服务器A,B,C

  • A：p1，p3
  • B：p2
  • C：p4

p4虽然只有116M，但是也要在C中占据128M的位置，也就是不管胖瘦都穿一个size的衣服。

2.3 MapReduce：分布式计算框架

Spark是一个计算平台，和MapReduce是相互竞争的关系，Spark速度更快，MapReduce更稳定可靠

MapReduce是采用一种分而治之的思想设计出来的分布式计算框架

如一复杂的计算任务，单台服务器无法胜任时，可将此大任务切分成一个个小的任务，小任务分别在不同的服务器上并行（在不同的服务器上执行）的执行；

最终再汇总每个小任务的结果MapReduce由两个阶段组成：

  • Map阶段（切分成一个个小的任务）
  • Reduce阶段（汇总小任务的结果）

在这里插入图片描述

如果在Reduce前断电的话，任务会失败

2.4 YARN：作业调度和资源管理器

YARN是集群（服务器们，集群就是一群服务器）的管家，就是Map阶段分任务的，服务器找YARN申请，YARN分配。

2.5 Hadoop生态圈

在这里插入图片描述
在这里插入图片描述

3 走进Hive

3.1 Hive是什么？

  • 基于Hadoop的开源的数据仓库工具，用于处理海量结构化数据：免费
  • Hive把HDFS中结构化的数据文件映射成数据表
  • Hive通过把HiveSQL进行解析和转换，最终生成一系列在hadoop上运行的mapreduce任务，通过执行这些任务完成数据分析与处理
  • HiveSQL和MySQL一样，都遵循着SQL的标准，因此它们很多语句都是一样的

3.2 Hive与传统数据库的比较

在这里插入图片描述
说明：

  1. 数据仓库（hive）/关系型数据库 都是用来做数据存储和数据分析的，对企业中的决策起到关键性的作用
  2. 关系型数据库容易遇到可拓展性瓶颈，进行向上拓展通常意味着要购买性能更强劲的硬件设备
  3. Hadoop很容易进行集群的横向拓展，便捷地进行节点的退役与服役
  4. 数据仓库中的历史数据一般不会改变，因为其主要用来记录已经发生的事实的数据：一般没有删除操作，主要用来查询，有时增加
  5. 面向事务的联机事务处理OLTP vs 面向分析的联机分析处理OLAP

在这里插入图片描述

hive中放日志数据，mysql的数据也可以放hive中，但是mysql体量小。

3.3 Hive的数据类型

基本数据类型

在这里插入图片描述
复杂数据类型
在这里插入图片描述

4 Hive的数据定义与操作

4.1 数据库相关

创建数据库

CREATE (DATABASE/SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value,...)];
案例演示：
create database if not exists kaikeba;

查看数据库信息

desc database extended 数据库名;

删除数据库【了解】

drop database if exists kaikeba;
drop database if exists kaikeba cascade;强制删除数据库

修改数据库【了解】

ALTER (DATABASE/SCHEMA) database_name SET LOCATION 
hdfs_path;

4.2 数据表相关

创建数据表

create [external] table if not exists 表名
(列名 数据类型 [comment 本列注释],...)
[comment 表注释]
[partitioned by (列名 数据类型 [comment 本列注释],...)]
[clustered by(列名,列名,...)]
[sorted by (列名 [asc|desc],...)] info num_buckets 
buckets]
[row format row_format]
[stored as file_format]
[location hdfs_path]
[tblproperties (property_name=property_value,...)]
[as select_statement]
说明：
①external表示创建外部表
②partitioned by表示创建分区表
③clustered by创建分桶表
④sorted by 不常用
⑤row format delimited [fields terminated by char] 
[collection items terminated by char] [map keys terminated 
by char] [line terminated by char] ⑥stored as 指定文件存储类型(sequencefile二进制文件、textfile文
本文件、rcfile列式存储格式) ⑦location 指定表在hdfs上的存储位置
⑧like 允许用户复制现有的表结构，但是不复制数据
⑨as 后跟查询语句，根据查询结果创建表

查看数据表结构

desc formatted table_name;

修改表【了解】

修改表名
ALTER TABLE log_messages RENAME TO logmsgs;
向表中添加列
ALTER TABLE log_messages ADD COLUMNS (
app_name   STRING COMMENT  ' Application name ' ,
session_id  BIGINT COMMENT  ' The current session 
id');
修改列名
ALTER TABLE table_name change column_name new_column_name 
new_type;

删除表【了解】

drop table if exists table_name;

清空表【了解】

truncate table employee;

分区表

  • hive中有分区表的概念，我们可以看到分区具重要性能优势，分区表可以将数据以一种符合逻辑的方式进行组织，比如分层存储。查询分区表中的数据时，除非where语句中包含分区字段过滤条件来显示数据范围，否则不允许执行。换句话说，就是用户不允许扫描所有的分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。如果没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表

数据的导入和导出【了解】

1.从本地导入到表中
load data local inpath '本地路径' overwrite into table
sogou [partition(partcol1=val1,....)];
2.从HDFS导入到表中
load data inpath 'HDFS上的路径' into table 表名
[partition(partcol1=val1,....)];
3.将Hive表中的数据导出到本地
insert overwrite local directory '本地路径' 查询语句; 4.将Hive表中的数据导出到HDFS
insert overwrite directory 'HDFS路径' 查询语句;

5 拓展知识

CentOS7系统的基本常识

  1. CentOS7是一个Liunx操作系统，能够同时登陆多个用户。这些用户的文件互不相通
  2. Liunx系统中，我们通过命令来和主机进行交互
  3. root用户是Linux系统中的超级管理员。我们一般使用普通的用户进行操作
  4. 普通用户的操作受到很多限制，各个用户之间有一层权限保证操作的安全性
  5. 学习好linux系统，关键是掌握命令的使用。命令的基本格式：命令 -选项 参数

常用的Linux命令

cd：切换目录，进入到某个目录
 1. cd /etc/ 表示进入/etc这个目录中
 2. cd ../ 表示返回上一级目录
 3. cd 进入当前用户的家目录
su - 用户名：切换用户
查看当前所在的目录路径：pwd
ls：列出目录下的文件
ll：列出目录下的文件
ifconfig：查看网卡的配置信息
mkdir：新建一个目录/文件夹
touch：新建一个文件
vim：文件编辑器
 1. 一般模式
 2. 插入模式
 3. 命令模式
rm -rf 文件：删除文件/目录

当我们在mac通过iterms2运行Mac终端时，需要使用党上述常见的linux语言，例如我们需要修改一个文件时：

cd到file所在文件夹

vim filename

接着我们需要查找需要修改的字段，在远端linux中查找不同于在本机查找（command+F）:

  • command+F只能找到本地信息
  • 若想要找到远端的信息，步骤如下：
  1. 输入斜杠/ + 查找内容 - 回车 - 按“N”向下查找
  2. 找到要修改的位置，输入 i 进入编辑模式，方向键定位光标位置，按del按键删除不要的信息，完成编辑后按esc退出编辑模式；
  3. 完成全部修改任务，输入冒号:wq保存退出文档；输入:q不保存直接退出文档。
阳光快乐普信男
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop大数据技术原理与运用学习笔记
Jones_aj的博客
05-22 2909
Hadoop学习过程中的一些笔记 参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著 什么是大数据？大数据的四个特征是什么？ 另外，在Hadoop架构里面，元数据的含义是什么？ Hadoop有哪些发行版本？
《Hadoop大数据技术原理与运用》知识点总结
weixin_46738406的博客
12-25 2128
Hadoop学习过程中的一些笔记 参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著 1.什么是大数据？大数据的四个特征是什么？ 答：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合 具有海量数据规模、快速数据流转、多样数据类型一级价值密度四大特征。 2.另外，在Hadoop架构里面，元数据的含义是什么？ 答：文件的大小、位置、权限 3.本书里面使用的Hadoop是哪个发行版本？ 答：apache版本，优点：版本更迭快； 缺点：更迭快带来的版
大数据技术原理与应用（二）：大数据处理架构Hadoop
hxxjxw的博客
05-29 603
Hadoop简介 Hadoop是Apache软件基金会旗下开源软件，是一个开源分布式计算平台 Hadoop屏蔽了大数据底层实现的细节，只需要按照它提供的更高层的接口，做一些简单的编程操作，后台所有的工作全部由整个系统自己实现。 Hadoop平台是利用java平台来开发的。但是Hadoop可以支持多种语言 Hadoop两大核心——HDFS（分布式文件系统）+MapReduce（分布式并行框...
Hadoop原理与集群搭建笔记
a814046606的博客
09-25 476
一、理论部分知识 1、HDFS ：Hadoop DIstributed File System简写。 易于扩展的分布式文件系统 运行在大量普通廉价机器上（成本低） ，提供容错的机制（可靠性高） 2、HDFS优点： 高容错性 适合大数据批处理（移动计算不移动数据、数据位置暴露给计算框架、存储量大、百万规模以上的文件数量、10k节点规模） 流式文件访问（一次写入，多次读取，保证数据一致性） 构建成本低...
Hadoop笔记
HuDie340的博客
06-08 1704
1.hadoop环境搭建，linux命令（vi);2.分布式的基本概念，cap理论（遵循此原则开发分布式数据库），hdfs,mapreduce；3.3.1；3.2重点；4.map，reduce过程，优缺点（第一二个版本）；6.6.3；7.sqoop；8.Zookeeper，yarn，mapreduce优缺点解决问题。
Hadoop学习笔记
NotLency的博客
08-22 1814
Hadoop学习简介前言：大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么？1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.
hadoop原理学习笔记 不含命令
weixin_46258854的博客
06-11 295
hadoop海量数据实现原理 如何将机器学习与hadoop对接 不考虑安装二次开发运行 数据是机器学习的核心 hadoop框架 谷歌100亿网页 2011年谷歌100万台服务器 双十一购物信息统计机 java+hadoop是大数据工程师 运行和监控是运维工程师 能够会安装部署监控hadoop的运维工程师是云架构工程师 程序员为了分布式系统改造程序和数据 云计算平台 按小时计费的租赁计算系统 大量数据 海量数据处理计算 自己组建hadoop成本高 微软 亚马逊 华为 腾讯 阿里 费用昂贵 节点 机架 通过sw
自考计算机科学与技术-数据库系统原理-04735-笔记
Muzzzzzz的博客
12-27 711
大数据是指无法在可容忍的时间内用现有信息技术和软、硬件工具对其进行感知、获取、管理、处理的服务的。以数据模型的发展为主线，数据库技术可以相应地分为三个发展阶段，第一代的。在MYSQL中，一个关系对应一个基本表，一个或多个基本表对应一个。从指定的关系中选取指定的若干个属性值组成一个新的关系的运算是。系统维护中，部分修改数据库的逻辑结构或物理结构的工作是。在数据库的三级模式中，外模式对应到数据库中的概念是。对于填有数据的游标，在MYSQL中，可以使用。按照运算符的不同，关系代数的操作分为传统的。
hadoop_概念
lingdu6633的博客
06-11 1049
指无法在一定时间范围内用常规软件工具进行捕管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、捉、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决，海量数据的采集、存储和分析计算问题。按顺序给出数据存储单位: bit、 Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB.1) Hadoop是一个由Apache基金会所开发的分布式系统基础架构2)主要解决，海量数据的存储和海量数据的分析计算问题。
分布式数据库Hive笔记_HDFS_Hadoop_分布式数据库
09-24
Hive01.pdf和Hive高级.pdf可能涵盖了Hive的基本概念、安装配置、表的创建与管理、查询语法、分区与桶化、优化技巧以及Hive与其他Hadoop组件的交互等内容。Hive的高级特性如视图、UDF（用户自定义函数）和窗口函数等...
Microsoft SQL 数据库学习笔记
11-28
- 大数据解决方案：探索SQL Server与Hadoop、Spark等大数据平台的集成，处理海量数据。 通过这些知识点的学习，你可以逐步掌握Microsoft SQL Server的基本操作和高级特性，为你的数据库职业生涯打下坚实基础。不断...
Hadoop课程笔记1
08-03
广义的Hadoop生态系统则包含了更多辅助工具，如Flume用于日志数据采集，Sqoop用于关系型数据库数据导入导出，Hive提供SQL接口处理Hadoop上的数据，Hbase是面向大数据的分布式数据库，适用于实时查询。 【Hadoop课程...
hadoop1.0\2.0学习笔记及
04-17
本学习笔记涵盖了Hadoop 1.0和2.0两个主要版本，旨在帮助读者全面理解Hadoop的核心概念、架构以及实际操作。 在Hadoop 1.0中，核心组件主要包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种...
hadoop常识讲义+笔记.zip
05-20
这个压缩包文件“hadoop常识讲义+笔记.zip”很可能包含了关于Hadoop的基本概念、工作原理以及实际应用的详细讲解和笔记。下面我们将深入探讨Hadoop的相关知识点。 1. Hadoop概述：Hadoop是一个开源的分布式计算框架...
数仓: 1- 数据仓库基础
最新发布
Taerge0110的博客
08-02 489
数据仓库 ( Data Warehouse, 简称DW或DWH ) , 也称为企业数据仓库 ( EDW ) , 是一个用于报告和数据分析的系统, 被认为是商业智能的核心组成部分 ; 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合, 用于支持管理决策 ; ​ 它可以帮助企业整合来自不同数据源的数据, 并将其转换为易于理解和分析的格式 ;
【数据湖与数据仓库】数据湖与数据仓库的区别与应用
weixin_39372311的博客
08-02 528
数据湖是一个集中式存储库，可以存储大量的结构化和非结构化数据。它允许以任何格式存储数据，包括文本、图像、视频、音频等，数据可以以原始格式进行存储，无需进行预处理。特点灵活性：支持多种数据格式和数据源。高扩展性：能够存储海量数据，适用于大规模数据处理。低成本：存储成本相对较低，适合长期存储大量数据。
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
qq_58462591的博客
08-01 183
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 483
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值