![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
人工智
个人记录博客,不推荐阅读
展开
-
Elasticsearch系列「」学习路线
Elasticsearch 基础认知 重磅 | Elasticsearch 7.X学习路线图 终于等到你,Elasticsearch 7.X视频教程发布! Elasticsearch 7.0 正式发布,盘他! 干货 | Elasticsearch 7.1免费安全功能全景认知 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! Elasticsearch 学习,请先看这一篇! 严选 | ELK Stack 选书指南.转载 2021-12-26 14:27:28 · 192 阅读 · 0 评论 -
Elasticsearch系列「二」如何物理删除给定期限的历史数据?
1、题记想到删除,基础认知是delete,细分为删除文档(document)和删除索引;要删除历史数据,基础认知是:删除了给定条件的数据,用delete_by_query。实际操作发现:- 删除文档后,磁盘空间并没有立即减少,反而增加了?- 除了定时任务+delete_by_query,有没有更好的方式呢?2、常见的删除操作2.1 删除单个文档DELETE /twitter/_doc/12.2 删除满足给定条件的文档POST twitter/_delete_by_qu...转载 2021-12-26 14:20:54 · 688 阅读 · 0 评论 -
Elasticsearch系列「零」架构解析与最佳实践
推荐阅读文章:elastic.guide.分片内部原理 Quintessence Anx.Elasticsearch Performance Tuning 进击的辣条.Elasticsearch由浅入深(二)ES基础分布式架构、横向扩容、容错机制 铭毅天下.Elasticsearch 索引设计实战指南 至尊宝.将 ELASTI...转载 2021-12-26 00:11:41 · 129 阅读 · 0 评论 -
「数据库系列四」分布式数据库CAP理论与最终一致性
传统关系型数据库中事务有四个重要的特性,简称ACID,即原子性: 事务是一个不可分割的工作单位,事务中的操作要么都成功,如果有一个执行失败,所有的SQL将都被撤销,恢复到事务开始的状态 一致性: 事务前后数据的完整性必须保持一致。 例如转账前AB两账户金额之和是2000元,事务结束后,金额之和仍然是2000元 隔离性:当多个用户并发的访问数据库时,数据库为每一个用户开启的事务之间是隔离的,一个事务不能被其他事务的操作所干扰 持久性: 持久性是指一个事务一旦被提交,它对数据库中数据的改变就是...原创 2021-12-05 13:51:49 · 546 阅读 · 0 评论 -
「中间件系列一」kafka消息中间件
一:为什么需要消息中间件?1.解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。3.扩展性: 因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。4.灵活性 &原创 2021-12-04 22:59:05 · 1270 阅读 · 0 评论 -
Elasticsearch(二)概念及安装、部署
跟部署有关的几个名词先介绍一下:node 节点是一个es实例,一台机器可以运行多个实例,但是同一台机器上的实例在配置文件中要确保http和tcp端口不同;一般一个机器只部署一个 cluster 代表一个集群,集群中有多个节点,其中有一个会被选为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。一般较大的集群中,一个节点不同时作为主节点和数据节点 shards 因为ES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片原创 2021-09-10 23:53:33 · 330 阅读 · 0 评论 -
ElasticSearch和mongodb的对比
一.ElasticSearch介绍ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。转载 2021-06-29 23:06:04 · 7536 阅读 · 0 评论 -
大数据概述(二)
大数据技术栈原创 2021-06-20 22:55:58 · 122 阅读 · 0 评论 -
大数据概述(三)
redis,mysql,manggoelasticsearch,hbase,hive对比区别几种数据库对比如下: redis mysql elasticsearch hbase hive 容量/容量扩展 低 中 大 海量 海量 查询时效性 极高 中等 较高 较高 低 查询灵活性 较差 非常好 较好 较差 非常好 写入速度 极快 中等 较快 .原创 2021-06-20 22:57:14 · 118 阅读 · 1 评论 -
大数据概述【一】
1、什么是大数据最早提出在2002年,来源于美国的麦肯锡报告4V特征:Volume(数据量大):PB级Variety(数据多样性):文本、图像、视频、音频等Velocity(输入和处理速度快):流式数据Value(价值密度低):需要积累很多的数据才能发掘大数据隐含的意义,只要能发挥和挖掘数据隐藏的价值,不用纠结于数据量大小由维克托·麦尔-舍恩伯格提出,被称作大数据之父大数据核心问题:存储、计算和分析。通过组件(计算框架)解决2、数据仓库和大数据1、传统方式:DW(Da转载 2021-05-01 00:34:22 · 333 阅读 · 1 评论