数据知识胡言乱语一锅乱炖（SQL、RDBMS、Redis、Mongo、HDFS、MapReduce、Spark、Hive、ClickHouse、Elasticsearch、HBase、Kafka）

已于 2023-07-27 19:54:24 修改
阅读量775 收藏 5
点赞数 2
文章标签： sql hdfs mapreduce
于 2023-06-30 19:28:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42078712/article/details/131473301
版权

SQL

SQL是结构化查询语言，用于管理关系数据库管理系统（RDBMS）。SQL的操作范围包括数据插入、查询、更新和删除，数据库模式创建和修改，以及数据访问控制。

  • 一个被设计用来操作关系数据库内数据的语言。

RDBMS

关系数据库管理系统是管理关系数据库的数据库管理系统，关系数据库是将数据间的关系以数据库表的形式加以表达，并将数据存储在表格中以便于查询。最常用的关系型数据库管理系统就是MySQL，而SQL（Structured Query Language）是一种用于管理和操作关系型数据库的标准语言。MySQL使用SQL语言来管理和访问数据，SQL提供了对数据的基本操作（例如查询、插入、更新和删除）以及对数据约束和事务处理的支持。

  • Mysql是数据库管理系统，SQL是用户操作数据的语言，其数据存储在服务器本地由文件系统支持。

Redis

  • redis是一个高性能的key-value内存数据库，Redis 支持的数据结构丰富，包括hash、set、list等。

  • 一般用作数据库、缓存和消息中间件。

  • Redis 数据全部存在内存，定期写入磁盘，当内存不够时，可以选择指定的 LRU 算法删除数据。

Mongo

  • 能存储海量数据，但是不支持事务

  • MongoDB 数据结构比较单一，但是支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富。

  • MongoDB 数据存在内存，由 linux系统 mmap 实现，当内存不够时，只将热点数据放入内存，其他数据存在磁盘。

HDFS

HDFS是Hadoop分布式文件系统，主要用于对海量文件信息进行存储和管理，也就是解决大数据文件（如TB乃至PB级）的存储问题。相比于传统存在服务器上的文件系统，HDFS将文件分成很多数据块存储在网络中的很多服务器上。并行存储和读取。

  • 一个把数据切块分布式保存、并行式操作的文件系统。

MapReduce

MapReduce是Hadoop的最初的计算框架，它将大规模的数据分割成多个小块并在集群中分布式地运行计算和处理任务。MapReduce将计算分为两个阶段，即Map和Reduce。其中Map阶段将数据处理成键值对，Reduce阶段将相同键的结果合并为一个结果。

  • Hadoop的最初的计算框架，基本实现对HDFS分布式地运行计算和处理任务的能力。

Spark

Spark是一套独立的基于Hadoop的数据处理框架，相较于使用MapReduce引擎具有更快的处理速度。Spark可以作为工具让Hive仓库系统调用它分析数据，Spark自身也可以直接使用来分析处理数据，并且能够支持各种数据来源(RDDs、parquet文件、JSON数据集、Hive表)

计算引擎Sparkmapreduce备注
计算方式内存计算IO读写迭代计算过程中，MR需要不断IO，而spark引入了RDD+DAG，使计算过程基于内存完成，提升了处理性能
任务调度线程级别进程级别spark可以通过复用线程池中的线程减少启动、关闭task所需要的消耗
  • Hadoop计算框架的更新版本，优化处理方式速度更快。

Hive

Hive是基于Hadoop的数据仓库系统，其本身不提供存储、不提供计算引擎，专注于简化对数据分析处理的过程，其使用类SQL语言HQL查询存储在HDFS中的数据。Hive会将生成Hive表（为HDFS上的文件赋予数据库表、列的语义，保存对应的元数据供查询时使用），在获得查询命令时根据Hive表编译命令。在Hive中进行数据处理时，会通过HQL将查询语句转换成MapReduce作业在Hadoop集群中运行。

  • Hive就是个壳子，里面什么东西都不是它的，它只不过整合暴露了一个易于使用的接口让你好写查询语句。
  • Hive本身不提供存储，使用Hadoop分布式文件系统HDFS存储。
  • Hive本身不提供计算引擎，而是使用Hadoop生态的MapReduce或Spark计算。
  • 相比于sql来说，hive更注重于大量数据的查询分析上，几乎不对数据进行增删改的操作。适合离线批量处理，延迟比较大（用于周期性的执行分析），不适合用于在线的需要实时分析结果的场景。

ClickHouse

ClickHouse是用于实时分析大数据的列式数据库管理系统（DBMS）。它被设计成具有高速度和扩展性，能够处理PB级别的数据。

  • ClickHouse是MPP架构，强调充分发挥单机性能，没有真正的分布式表，ClickHouse的分布式表只是本地表的代理，对分布式表的查询都会被转换为对本地表的查询。Hive的数据存储于分布式文件系统，因此Hive的计算引擎Spark在执行计算任务时，需要依据数据分布进行调度。在必要时，Spark可以通过CBO将数据重新排序后再分散到多台机器执行，以实现复杂的查询。
  • ClickHouse的优化重点在如何提高单机的处理能力，而Spark的优化重点在于如何提高分布式的协作效率。
  • 面向列的DBMS，列相似数据连续存储，利好数据压缩。
  • 向量化引擎。
  • 适合在线查询：响应速度快延迟极低
  • 实时的数据更新。
  • 支持SQL。
名称Hive壳子RDBMS（MySQL）DBMS（Clickhouse）
查询语言HQL(类SQL)SQL支持SQL
数据存储依赖HDFS服务器本地文件系统可单可分布
数据格式用户自定义系统定义
数据更新少改添增删改查增删改查
计算模型mapreduceexcutor执行引擎
设计理念对海量数据做数据挖掘实时查询海量数据快查
实时性差好好
拓展性分布式框架扩展方便相对较差好
有无索引无(全查)有一级索引

Elasticsearch

Elasticsearch是一个近实时的分布式搜索分析引擎，Elasticsearch通常会和其它两个开源组件Logstash（日志采集）和Kibana（仪表盘）一起提供端到端的日志/搜索分析的功能，常常被简称为ELK。
Elasticsearch只有搜索能力没有存储能力，底层存储完全构建在Lucene之上。Lucene是一个文本搜索引擎，Lucene通常是以文件(大部分是json文件)的形式来存储数据的，每个文件都代表着一个索引，将文档中的数据建立倒排索引，以便加快搜索速度。

  • Elasticsearch是一个Lucene的Plus版本，扩展了Lucene的单机搜索能力，使其具有分布式的搜索和分析能力。
  • 可以处理半结构化和非结构化的数据，例如日志、文档、JSON等。
  • 继承了Lucene最重要的核心（全文检索功能）：适用倒排索引，每个字段都可被索引且可用于搜索，海量数据下近实时实现秒级的响应，基于Lucene的开源搜索引擎，为全文检索、高亮、搜索推荐等提供了检索能力。
  • 常用于日志处理。
  • 常用于指标分析：Elasticsearch可以聚合大量指标数据，并提供高效的统计分析服务。比如统计订单量、爬虫爬取不同电商的某个商品数据，分析各个平台的历史价格、购买力等。
  • 搜寻引擎：可用于搜索网站、产品、文档、应用程序、收藏夹或任何其他带有文本的内容。

HBase

Hbase是一个分布式的、基于列的Hadoop的NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。

  • HBase是建立在HDFS之上，HDFS是文件系统，而HBase是数据库系统。

  • HBase有表、行和列的概念。定位一行数据会有一个唯一的值，这个叫做行键(RowKey)。而HBase的列(Column)归属到列族(Column Family)中，先找列族，后找列。

    一条数据结构rowKey
    Column FamilyUserInfo1UserInfo2
    Columnnamesexagebirth
    Value1Tommale181999

    在id=1这行数据中，有Info1、Info2两个列族，名下分别有name、sex、age、birth四个列名，在读取时分别使用Info1:name、Info1:sex、Info2:age、Info2:brith

  • HBase存储数据的结构可以非常灵活。HBase表的每一行中，列的组成都是灵活的，行与行之间的列不需要相同，甚至能完全不同。一个列族下可以任意添加新列名，不受任何限制。

  • HBase以Key-Value形式列式存储，Key由RowKey(行键)+ColumnFamily(列族)+Column(列)+TimeStamp时间戳版本+KeyType(类型)组成，而Value就是存储的值。

    KeyRowKeyColumnFamilyColumnTimeStampKeyType
    例子1UserInfo1name1690372353000KeyType
    ValueTom

  • Hbase的主要特点

    • 海量数据存储
    • 存储记录的多个历史版本，比如地理位置列、天气温度列等
    • 高性能、高可靠性

  • Hbase的主要应用场景

    • 每天写入量巨大，而相对读数量较小的应用 – 日志系统
    • 海量数据（亿万条记录）的最底层数据源
    • 对性能和可靠性要求非常高的应用
    • 需要存储历史记录场景

Kafka

Kafka是一个快速，可扩展，耐用和容错的发布/订阅的消息传递系统。

Kafka基本概念

  • Producer–生产者

    向Kafka集群中的broker发布消息。

  • Broker–服务代理

    Kafka集群包含一个或多个服务器，这种服务器被称为broker。broker直接使用磁盘进行存储，线性读写，速度快。

  • Consumer–消费者

    从Kafka集群中的broker拉取(pull)数据并进行处理。

  • Topic & Partition–话题

    • Topic在逻辑上可以被认为是一个queue，每条消费都必须指定它的Topic，可以简单理解为必须指明把这条消息放进哪个queue里。
    • 物理上把Topic分成一个或多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引文件。

Kafka业务场景

  • 日志收集 – 可以收集各种服务的日志，通过Kafka以统一接口服务的方式接受消息进行存储
  • 消息系统 – 邮件或短信系统
理不为
关注
一行代码将SAP CDS view数据以ALV的方式输出
汪子熙的专家技术分享
10-25 1051
由于国情原因，ABAP ALV相关的报表开发在国内众多SAP技术交流群里永远都是一个热门话题。 最近Jerry和朋友的技术交流群里，郭爷向大家介绍了ALV Integrated Data Access，能够轻松实现以ALV格式展示CDS view的数据。 感谢郭爷的介绍，Jerry因为工作原因不会进行SAP Dynpro的编程，所以也不知道这个ALV IDA的存在。网上搜了一下，发现早在2018年就有SAP从业者写过介绍它的博客了： 因为使用确实非常简单，Jerry不会重复博客里的内容，对其详细用法感兴
pandas 取excel 中的某一列_干货Python Pandas 做数据分析之玩转 Excel 报表分析
weixin_39517241的博客
11-20 6167
本篇文章选自作者在 GitChat 的分享，若有什么问题，可在公众号回复「小助手」添加小助手微信，邀请你进入技术交流群。各位朋友大家好，非常荣幸和大家聊一聊用 Python Pandas 处理 Excel 数据的话题。因为工作中一直在用 Pandas，所以积累了一些小技巧，在此借 GitChat 平台和大家分享一下心得。在开始之前我推荐大家下载使用 Anaconda，里面包含了 Spyd...
大数据知识点汇总---Redis,Spark,Kafka,Hive,Mysql,Hbase,Hadoop...
修行的博客
09-16 2926
0、大数据5V Volume 体积大，高速率增长的数据量，PB为单位 Velocity 数据增长速度快 Variety 不同数据类型，文本、音频、视频 Veracity 数据不确定性，大量数据带来不完整性和不一致性 Vlue 数据价值 -------------------------------------------------------------------- Redis ---...
spark+clickhouse+hive+kafka+vue+hbase大型分析系统
11-06
基于Flink+ClickHouse构建的分析平台，涉及 Flink1.9.0 、ClickHouse、Hadoop、Hbase、Kafka、Hive、Jmeter、Docker 、HDFS、MapReduce 、Zookeeper 等技术
RDBMS和HDFS的区别
jx的博客
11-28 807
比如查找数据，HDFS会将任务分成多个任务运行在n个节点上（取决于数据存储到几个节点），如果没有搜索完，也会返回搜索结果。而RDBMS会逐个搜索存储空间，全部遍历，没搜索完，不会返回。即RDBMS在存储数据时就对数据进行检查，与表结构定义必须匹配才能存储（write），否则就报错。HDFS任何数据都可以存储，在用到这些数据时（read），才会检查。
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪
01-27 1588
如果指定了hadoop_kerberos_keytab, hadoop_kerberos_principal或者hadoop_kerberos_kinit_command，将会调用kinit工具.在此情况下，hadoop_kerberos_keytab和hadoop_kerberos_principal参数是必须配置的.kinit工具和 krb5 配置文件是必要的.数据节点的安全通信无法由SASL保证 ( HADOOP_SECURE_DN_USER 是这种安全方法的一个可靠指标)。创建具有名为文件的表。
16_clickhouse,HDFS引擎，JDBC引擎
涂作权的博客
12-11 1070
21.HDFS引擎 21.1.HDFS引擎 ClickHouse通过该引擎管理HDFS上的数据，从而与Apache Hadoop生态系统集成。 指定表引擎： ENGINE = HDFS(URI, format) URI参数是HDFS文件URI,format参数指定文件格式。 URI路径支持globs，这样该表是只读的： 1.* : 替换任意字符，除了空字符和’/’。 2.? : 替换任意单个字符。 3.{some_string,another_string,yet_another_one} : 替换字符串列
Hbase、hive以及ClickHouse的介绍和区别？
最新发布
damokelisijian866的博客
07-16 1369
HBase、Hive以及ClickHouse是三种在大数据领域广泛使用的数据库系统，它们各自具有独特的特点和适用场景。
RRRoger#FirstProject#乱炖1
07-25
乱炖1）使用 rsync 同步的时候，指定 ssh 的端口rsync -avzP -e 'ssh -p PORT' source_path user@ip:de
Commentary.js:Commentary.js 是仿前端乱炖的评注功能插件，可以针对文章的某一处进行评论
06-28
Commentary.js 是仿前端乱炖的评注功能，可以给文章的某一个部分添加评论。 ======= ###使用方法 [removed][removed] [removed][removed] [removed] $('.article').Commentary({ addCommentary : function(element)...
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse
07-31
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse对应的jar包
python折线图样式_用Python的Plotly画出炫酷的数据可视化(含各类图介绍)
weixin_39607240的博客
11-20 1790
在谈及数据可视化的时候，我们通常都会使用到matplotlylib，pyecharts这些可视化的手段。但是，今天我主要来介绍Plotly这款可视化的库。大家参考开源项目地址：https://github.com/plotly/plotly.js这个库是使用js写的前端，所以画出来的图非常的漂亮，不像matplotlylib画出来的那么生硬。plotly提供了Python的支持库,使用p...
hbase、hive、clickhouse对比
freshrookie的博客
12-18 3556
概念 架构 hbase master存储元数据、regionServer实际控制表数据，存储单位是Region，底层数据存储使用HDFS hive 通过driver将sql分解成mapreduce任务 元数据需要单独存储到一个关系型数据库，一般是mysql 实际数据存储可以是外表，也可以是内表 clickhouse 单体架构分层类似mysql，集群状态下是多主，通过zookeeper通信 数据存储看引擎，最重要的引擎是mergeTree家族 部分引擎是不会存储数据的，比如kafka引擎
ClickHouse配置Hdfs存储数据
博客
09-01 1259
ClickHouse使用Hdfs作为外部存储
hive on redis
kuanghongjiang的专栏
10-08 1154
1.单节点redis kk.sh redis-cli -h 192.168.0.1 -p 6379 <<EOF DEL kk_redis exit EOF hive -f /home/kk/kk_redis.sql | grep -v "^WARN:" > /home/kk/kk_redis.txt unix2dos /home/kk/kk_redis.txt ...
HBASE、HDFS、Redis、传统数据库、Hive的区别
weixin_43401381的博客
03-01 1108
1、HDFS 为分布式存储提供文件系统 针对存储大尺寸的文件进行优化，不需要对HDFS上的文件进行随机读写 直接使用文件 数据模型不灵活 使用文件系统和处理框架 优化一次写入，多次读取的方式 2、HBase 提供表状的面向列的数据存储 针对表状数据的随机读写进行优化 使用key-vale操作数据 提供灵活的数据模型 使用表状存储，支持MapReduce，依赖HDFS 优化了多次读，以及多次写...
flink连接Hbase,clickhouse,kafka,redis
qq_25043977的博客
12-08 431
flink连接Hbase,clickhouse,kafka,redis
Redis和hdfs持久化对比
u010530827的博客
05-28 819
Redis是常用的内存数据库，hdfs是分布式文件系统，namenode使用内存保存文件元数据以及文件块所在的datanode。使用内存保存数据就需要考虑内存大小限制以及内存数据持久化问题。那么在持久化上这两者如何实现的呢？ 内存数据持久化包含两种方式：一种是将当前内存中所有数据一次性保存；第二种是将所有的操作保存在日志文件中。第一种优势是全量数据，快速恢复，缺点是需要根据时间生成不同的数据，第二种方法生成的日志文件很大，优点是数据更加完整。具体过程中两者配置使用 Redis rdb以及aof方式 hdf
clickhouse hbase性能对比_为什么我们要从ES迁移到ClickHouse？
weixin_39951112的博客
11-20 4443
“ ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎，携程用 ES 处理日志，目前服务器规模 500+，日均日志接入量大约 200TB。图片来自 Pexels随着日志量不断增加，一些问题逐渐暴露出来：一方面 ES 服务器越来越多，投入的成本越来越高。另一方面用户的满意度不高，日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户。而从运维人员的角度看，ES 的运维...
需要一段java中spinner可编辑代码
04-10
以下是一段可编辑的Spinner代码： ``` JSpinner spinner = new JSpinner(new SpinnerListModel(new String[] { "Option 1", "Option 2", "Option 3" })); JFormattedTextField spinnerEditor = ((JSpinner....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值