数据库及海量数据存储
文章平均质量分 93
以mysql 及海量数据 搜索引擎为基础进行学习和记录 nosql等数据库
踩踩踩从踩
努力 加油 自律 学习 总结
展开
-
JAVA主要日志输出工具
上图是一个典型的微服务调用链路,面对的场景问题如下:1-如果D服务是一个关键服务,返回结果错误,无论是日志,还是监控平台,并不能很快捷的定位问题出现在了那里,因为不能串联整个调用链路的流程2-当对某一个服务架构升级或者改造的时候,不好评估影响范围,不明确服务之间的依赖关系,给技术决策带来了困难3-性能瓶颈,整个调用链路那个环节耗时比较久4-当一次请求结束后,不好确定执行顺序,都给业务逻辑上的理解带来了困难需要解决问题:1-串用调用链,快速定位问题2-厘清服务依赖关系。原创 2023-07-09 15:31:34 · 834 阅读 · 0 评论 -
序列化的简介
序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化,它将流转换为对 象。这两个过程结合起来,可以轻松地存储和传输数据。原创 2023-07-09 15:10:24 · 363 阅读 · 0 评论 -
mycat的基本介绍及安装
在之前的文章中,介绍了一部分的mycat,这些数据访问中间键,我们了解原理,对于数据中间键不具备的某些功能进行扩展,首先要明确,;在现实开发过程中,面对复杂的业务问题已经够头疼了,我相信大家都不愿意在花太多时间应对技术复杂,也就是为什么在公司中都有成熟技术中间件选型用来解决开发中分库分表数据访问的问题,其他都修修补补罢了;原创 2023-04-30 10:07:29 · 837 阅读 · 1 评论 -
FastDFS 介绍
本篇文章会介绍FastDFS是什么,具有什么功能;FastDFS服务端有的角色,来实现这些功能;当然也涉及到集群,以及 负载均衡;使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。作为文件存储的中间件 ,我们怎么去使用它。FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。原创 2023-03-12 15:05:57 · 972 阅读 · 0 评论 -
MongoDB分片存储集群支撑海量数据
本篇文章会通过在MongoDB中的主从集群,以及集群之间同步机制和选举,以及如何达到读写分离、CAP分布式理论在mongodb中如何实现,如何使用主从集群等方面去详细解释mongodb应对高并发,分片集群中的概念 ,如何使用分片集群等多方面去解析应对海量数据的解决方法原创 2021-11-26 16:45:07 · 3009 阅读 · 0 评论 -
MongoDB高效查询之索引机制
Mongo高级用法_踩踩踩从踩的博客-CSDN博客前言本篇文章会继续介绍MongoDB高效查询中的索引机制,主要包括什么是索引、索引的作用,全面介绍MongoDB中索引,以及如何使用索引来优化查询,查询性能分析 多键索引,通配符索引,二维空间索引;在mongoDB中 索引来高效查询 ,如何操作管理索引;MangoDB中使用索引考虑的因素, 这都是MongoDB 如何高效查询的基础,虽然没有es那么强大,但也有自己的一套规则优化。索引索引是一种用来方便查询数据的数据结构。B Tree就是一种.原创 2021-11-24 21:52:41 · 2083 阅读 · 0 评论 -
Mongo高级用法
NoSQL介绍及MongoDB的安装及使用_踩踩踩从踩的博客-CSDN博客前言本篇文章会开始从客户端使用和选型 包括java客户端 maven 中 CRUD操作。以及批量 写作 spring对Mongodb的支持;以及高级用法 包括聚合管道、MapReduce 、单一作用聚合、以及聚合管道和MapReduce对比;在mongodb中使用存储过程。这些高级语法了解并分析mongodb,这都是在不同版本上不断的优化更新的。图形化客户端除了Shell还有两种图形化客户 MongoD...原创 2021-11-24 16:00:47 · 1399 阅读 · 0 评论 -
NoSQL介绍及MongoDB的安装及使用
前言本篇文章会介绍Nosql和关系型数据库之间的区别,了解NoSQL ,NoSQL数据库与关系型数 据库有什么不一样。对比关系型数据库理解 MongoDB,MongoDB安装及JAVA客户端使用 ,以及spring对Mongodb的支持。NoSQLSQL,结构化查询语言,这里泛指关系型数据库 。NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指不提供SQL功能的非关系型数据库。 不遵循,SQL标准、ACID特性、表结构。这个概念很早就有人提出,当时做N.原创 2021-11-24 11:12:29 · 1375 阅读 · 0 评论 -
ES查询语法解析
ES应用场景及核心概念二_踩踩踩从踩的博客-CSDN博客ES应用场景及核心概念一_踩踩踩从踩的博客-CSDN博客_es适用场景前言之前得文章解析过ES的应用场景及核心概念,包括介绍基本结构及使用方式,以及各个版本之间的适配,以及type类型的弱化,以及其中分词器的选择等。本篇文章会继续介绍最常用的查询语法的api,request的请求方式,高级的查询方式 以及dsl是什么,dsl语法等。搜索API(_search API) 对于一般的搜索api 在官网中给我们展示的是 search ,包原创 2021-11-20 21:44:52 · 2295 阅读 · 0 评论 -
ES应用场景及核心概念二
ES核心操作映射详解描述数据结构,映射到es中存储的结构等。映射定义索引中有什么字段、字段的类型等结构信息。相当于数据库中表 结构定义,或 solr中的schema。因为lucene索引文档时需要知道该如何来索引存储文档的字段。创建映射,默认 science就是一个doc type 映射。字段名称 和字段类型。指定type 和 映射 数据。 给mapping添加字段 这些操作。ES中支持静态映射,动态映射两种方式。 通过dynamic字段来指定mapping的动态效果..原创 2021-11-19 20:55:42 · 1774 阅读 · 0 评论 -
ES应用场景及核心概念一
目录ES基本安装及应用安装使用方式这里在java中实现,首先引入客户端包index alias的应用同步DB数据到ESES核心概念type类型弱化。ES核心操作ES基本安装及应用通过lucene 进行发展而来,往上走,compass 最后开源 成为 es框架。在大数据的情况,ES提供了分片 降低查询效率,提高存储的能力。ES的使用场景:给网站/APP添加搜索功能,存储、分析数据,管理、交互、分析空间信息,将ES用于GIS。安装添加...原创 2021-11-16 21:47:00 · 6017 阅读 · 0 评论 -
搜索引擎基础及核心思想
前言本篇文章会通过介绍搜索引擎的基础及在项目中为什么会出现搜索引擎,以及搜索引擎如何实现,包括提到创建索引,对于半结构化数据以及结构化数据快速找到我们想要的数据,以及在大数据条件下Lucene es架构的一个介绍。搜索引擎为什么需要搜索引擎我们在工作中存储数据是通过oracle mysql等关系型数据库进行存储如果按上图中按不同的类别或者 时间 查询某个标题 分别进行查询。在数据库中按照不同的sql语句进行查找对于数据库中数据量增大查询效率降低,这些个sql就需要进行优...原创 2021-11-15 14:20:28 · 1086 阅读 · 0 评论 -
Sharding-JDBC核心概念解析
前言本篇文章会从Sharding-JDBC用途、使用场景、架构,Sharding-JDBC配置使用,Sharding-JDBC分库分表实战,Sharding-JDBC事务应用与数据治理等几个方面去解析Sharding-JDBC ;对于它来说和mycat的最大区别还是作为客户端数据中间件做为解决海量数据存储的方式。官网:ShardingSphere (apache.org)Sharding-JDBC用途、使用场景、架构说到Sharding-JDBC 一定要说到ShardingSphere。..原创 2021-11-06 20:04:27 · 957 阅读 · 0 评论 -
Mycat核心概念工作原理及高级特性分析
海量数据存储解决方案之分库分表原理解析及mycat安装及使用_踩踩踩从踩的博客-CSDN博客前言上篇文章主要对海量数据的分片进行介绍,并且包括mycat的安装和简单使用,做了一个简单的配置,也对分片中会出现的问题做分析;这篇文章会接着继续进行分析数据库中间件中重要的mycat,在使用上有一些高级特性及核心概念、分片解决的办法做了哪些优化和处理大的介绍核心概念理解和工作原理mycat的版本迭代Mycat-mini-monitor项目开源了,又一款Mycat监控! Mycat-mini-原创 2021-11-05 20:59:58 · 640 阅读 · 0 评论 -
海量数据存储解决方案之分库分表原理解析及mycat安装及使用
数据库的海量数据的存储解析_踩踩踩从踩的博客-CSDN博客前言上篇文章主要介绍的海量数据的简介,介绍传统的数据库及nosql数据库;如何使用分区进行对数据库数据进行缓解压力,但是单单利用分区进行缓解,远远不够;效率还是达不到生产使用。这篇文件开始介绍比较常用,也是我在项目中使用的分库分表对海量数据存储的另一种解决方案,如果真的想解决tb级别的,还是得使用clickhouse mongdbdb等列式数据库,这个会在后面进行解析。用分区,提升数据库的性能海量数据分片之分库分表随着业务的.原创 2021-11-05 14:46:23 · 903 阅读 · 0 评论 -
数据库的海量数据的存储解析
前言本篇文章会从数据的概念和分类,以及数据的处理思路 及如何使用分区去提高性能,使用分区过后的优缺点。我常用来处理大数据存储问题的分库分表;会解析关系型数据库和nosql数据库的区别及优缺点。...原创 2021-11-05 10:35:12 · 2643 阅读 · 0 评论 -
mysql数据库(一):使用LOAD DATA LOCAL INFILE优化大批量数据导入数据库
使用LOAD DATA LOCAL INFILE 导入txt数据到数据库中,可以提高从文件中导入数据到数据库效率,并且降低服务器内存使用,提高效率的作用原创 2021-05-17 23:27:47 · 5133 阅读 · 1 评论