数据库
文章平均质量分 71
沛哥儿
互联网电商行业十余年技术老炮。
展开
-
【数据库专家揭秘】MySql数据库设计黄金法则,让你的数据更稳定、更高效!
MySql数据库设计是一个复杂而重要的过程。通过明确需求、规范命名、选择合适的数据类型、优化表结构、考虑性能优化以及注重安全性等原则,我们可以打造出稳定、高效的MySql数据库系统,为企业发展提供有力支持。原创 2024-06-03 20:09:34 · 1339 阅读 · 0 评论 -
轻松上手ClickHouse:ClickHouse入门
ClickHouse作为一款高性能的列式数据库管理系统,在大数据处理和分析领域具有广阔的应用前景。通过本文的介绍,相信大家对ClickHouse有了初步的了解和认识。未来,随着技术的不断发展和完善,ClickHouse将继续发挥其在数据分析领域的优势,为企业和开发者带来更多便利和价值。原创 2024-05-19 22:08:31 · 1031 阅读 · 0 评论 -
Milvus 使用过程中的常见问题集锦
Milvus具体的问题和解决方法可能因环境、配置和数据集的不同而有所差异。如果遇到问题,建议查阅Milvus的官方文档或社区论坛以获取更详细的帮助。原创 2024-05-19 21:16:08 · 1326 阅读 · 0 评论 -
Milvus 与机器学习框架的集成
Milvus 提供了与机器学习框架集成的能力,使得从数据预处理到向量搜索的整个工作流程变得更加高效和简单。Milvus作为一款与机器学习框架无缝集成的向量数据库,为用户提供了从数据预处理到向量搜索的端到端工作流程支持。它的高效性、灵活性和可扩展性使得它成为机器学习领域中的一颗璀璨明珠,相信在未来的发展中,Milvus将继续为用户带来更多惊喜和便利。原创 2024-05-17 09:12:43 · 939 阅读 · 0 评论 -
Milvus 性能优化
Milvus 的性能优化涉及索引选择、搜索参数调优和硬件优化。正确选择索引类型、合理调整搜索参数以及选择合适的硬件配置,可以显著提升 Milvus 的搜索性能。在实际应用中,需要根据数据集的特点和搜索需求,进行综合考虑和调整。原创 2024-05-16 19:46:40 · 1172 阅读 · 0 评论 -
Milvus 快速入门
Milvus Java SDK 是一个开源项目,其源代码托管在 GitHub 上。它允许 Java 开发者通过编写 Java 代码与 Milvus 进行交互,执行包括数据插入、查询、搜索、删除等操作。Milvus 的快速入门包括了基本概念的理解、一个简单的示例操作以及 Milvus API 的概览。通过这些步骤,你可以开始使用 Milvus 进行向量数据的存储和搜索。Milvus 的设计旨在简化向量数据库的使用,使其成为机器学习和人工智能应用中的有力工具。原创 2024-05-15 09:04:31 · 2540 阅读 · 0 评论 -
Milvus 安装与配置
Milvus 的安装与配置是一个涉及环境准备、安装步骤和配置优化的过程。通过 Docker 或源码编译安装 Milvus,并根据系统资源和需求进行配置优化。确保安全性,并利用官方文档和社区资源以获得更好的支持。原创 2024-05-15 08:51:31 · 1135 阅读 · 0 评论 -
Milvus 简介与核心特性
Milvus 是一个开源的向量数据库,由 Zilliz 公司发起并维护。它专为处理非结构化数据而设计,能够存储、检索和分析大量的向量数据。Milvus 的名字来源于拉丁语,意为“一万”,象征着其处理大规模数据集的能力。Milvus 的主要用途是进行向量搜索,它可以快速地在亿级向量中找到最近邻向量。这使得 Milvus 成为机器学习和人工智能应用中的重要工具,尤其是在需要进行大规模相似性搜索的场景中。原创 2024-05-14 22:51:12 · 577 阅读 · 0 评论 -
Redis 入坑基本指南
这是一个基本的 Redis 用户指南,介绍了安装、配置和基本使用。Redis 拥有丰富的功能和强大的性能,您可以进一步了解 Redis 的高级特性、持久化选项、集群配置等。对于更详细的内容和进一步指导,请参考 Redis 官方文档。祝您使用 Redis 的愉快!原创 2024-05-07 22:22:48 · 441 阅读 · 1 评论 -
数据安全保护体系的设计原则
通过对数据流动的通道、流动中的数据和数据进行加密,可以有效地保护数据的保密性、完整性和可用性,避免敏感信息的泄露和数据被非法篡改或窃取的风险。在未来的数据处理、存储和传输过程中,应当继续加强对动态数据保护原则的重视和应用,提高数据的安全性和可信度。首先,原则上要对数据的访问、操作和移动进行全面的审计。通过全面的审计,组织可以确保数据的完整性和安全性,并能够及时发现和解决潜在的数据问题。通过遵循这些原则,组织和个人可以有效地保障数据的安全和隐私,提高数据的利用率和价值,同时也可以建立起用户信任和忠诚度。原创 2024-01-05 13:39:47 · 1125 阅读 · 0 评论 -
MySQL行锁浅析
本文介绍了MySQL中行级锁的基础概念、实现原理、类型及其使用场景。MySQL行级锁是细粒度锁,可以保证不同线程对同一数据的访问的隔离性。行锁使用的锁类型多种多样,我们需要根据实际情况选择不同的锁类型,避免出现无法获取到锁的情况。通过使用行级锁,我们可以较好地解决高并发情况下的数据一致性问题,提高系统的并发性能。原创 2023-06-01 10:33:33 · 2981 阅读 · 2 评论 -
MySQL和Redis之间的存储区别
总的来说,MySQL和Redis在存储策略、日志存储方式、硬盘存储、数据恢复等方面存在巨大的差异。MySQL通过传统的关系型数据库结构实现数据存储,可以提供更大的存储容量;Redis采取内存存储,可以提高数据的读写速度。在数据恢复方面,MySQL依靠redo log和binlog来保证数据不丢失,而Redis则采用AOF和RDB机制来保证数据可靠性。在实际应用中,选择MySQL还是Redis,需要考虑到具体的应用场景、性能要求、数据大小等多个方面来进行选择。原创 2023-06-01 10:17:07 · 1077 阅读 · 0 评论 -
mysql中的锁浅析
MySQL 的锁机制可以帮助我们解决多个进程并发访问的问题,保证了数据的安全性和一致性,提高了系统的可靠性。在实际开发中,我们需要根据应用场景具体选择不同类型的锁,避免不必要的资源浪费,提高系统的性能和吞吐量。原创 2023-05-31 13:36:08 · 1383 阅读 · 0 评论 -
Java:get请求下字符串异常问题
后端解决方案因为加密字段是后端生成的,那么在传递给前端的时候,需要对传递的参数负责。就需要将当前参数传递的时候就去掉特殊字符。这里我们可以使用URLEncode来进行转换。在前端将此字符传递给后端后,后端再进行URLDecode处理,这样对于前端来讲就是无感的。解决问题主要是把特殊字符串处理。处理方案一个是URL转码替换,一个是直接替换。原理都是一样的。特别说明下,这个情况下对Get请求方式有效。Post是不需要这么复杂的。至于为什么,可以自己想下。...原创 2022-08-03 18:54:58 · 1487 阅读 · 0 评论 -
Mysql窗口函数
MySQL从8.0版本开始支持窗口函数,其中,窗口可以理解为数据的集合。窗口函数也就是在符合某种条件或者某些条件的记录集合中执行的函数,窗口函数会在每条记录上执行。窗口函数可以分为静态窗口函数和动态窗口函数,其中,静态窗口函数的窗口大小是固定的,不会因为记录的不同而不同;动态窗口函数的窗口大小会随着记录的不同而变化。窗口函数总体上可以分为序号函数、分布函数、前后函数、首尾函数和其他函数,如表11-5所示。表11-5 MySQL窗口函数分类窗口函数的基本用法格式如下:over关键字指定函数窗口的范围,转载 2022-07-12 21:45:00 · 753 阅读 · 0 评论 -
Mysql 排序Order by与分页limit结合的数据异常问题
前言在使用order by 进行排序的时候,使用LambdaQueryWrapper也是杠杠的。使用orderByDesc方法可以很方便的进行多字段排序。问题但是使用分页排序的时候,Limit出来的数据,居然会重复。刚开始以为使用了多个字段进行order by ,导致查询结果不正常。出于对自己技术的不信任,特意跑到mybati-plus官网查了文档,发现一切都是正常的。那么就是mysql的问题了。开启sql日志输出,发现sql正常,使用查询的时候,发现数据重叠了。第一页数..原创 2022-04-13 19:14:53 · 1717 阅读 · 0 评论 -
Mysql来帮忙:多行合并成一列
先还是来说下业务场景现在有个业务需求,需要根据父类ID(pid),分别找出3条最新的数据展示出来。如果使用group by发现每个只能显示一条。那么怎么办?接下来就是解决现场。解决解决思路1、把符合条件的id串在一起组合成一个新的列2、从列里面截取3个子项整体SQL先直接上方案-SQL:SELECT pid,SUBSTRING_INDEX( GROUP_CONCAT(id) ,',' ,-3) as idsFROM t_info..原创 2022-03-31 09:55:51 · 6879 阅读 · 0 评论 -
mac安装redis
brew install redis可以快速安装,启动的话配置好对应的path就可以直接使用brew进行启动了。原创 2022-03-20 01:35:06 · 3645 阅读 · 2 评论 -
mysql 如何判断 “字符串“ 是否为 “数字“
{str} REGEXP {pattern}{str} 代表匹配的字符。{pattern}代表匹配的模式返回结果,如果匹配成功,则返回true,否则返回false。原创 2022-02-17 18:18:24 · 2032 阅读 · 0 评论 -
Mysql内容查找替换
前言基本上用java的都是用的Mysql数据库来进行数据的存储服务。Mysql里面有很多自带的查找函数,掌握它其实是很有必要的。今天和大家分享的是如何进行内容的查找替换操作。背景有个数据字段product_name,因为前期设计的原因,将中英文保存到了一起。假如存储内容如下:帕图斯酒庄红葡萄酒(Petrus, Pomerol, France)因为业务的变动,需要对其拆分,使用两个字段来进行存放。解决思路常规解决思路:1、使用instr函数找到拆分的位置 ;2..原创 2021-12-21 20:25:10 · 3158 阅读 · 1 评论 -
面向未来,我们来聊一聊什么是现代化数据架构
在不那么遥远的旧 IT 时代,有这样一个段子——假如把数据库们”聚在一起“开会”。Oracle: 我们需要企业级数据库。MySQL: Oracle 不开源。PostgreSQL: MySQL 的功能不够多。SQLite: 你可以把我嵌入到任何地方。这样,4 种数据库够大家用了。MongoDB: 为什么我们要用 join 和模式 (schema)?Bigtable: MongoDB 的对 web 的扩展性不好。Hbase: Bigtable 不开源。......(摘自:《外刊 IT 评论》)转载 2021-12-08 10:24:34 · 224 阅读 · 0 评论 -
SQL江湖百晓生:入门级必杀器—外连接join
闲话join在我们使用SQL进行后台查询的时候。是经常用得到的关键字。很多人说,我没用过。那你用过,这个没有呢?外连接在编程,特别是mybatis里面,一般情况下是避免不了的(当然,如果你项目走的是分布式,公司有规定那又另当别论了)。外连接,顾名思义。是没有当前查询需要链接外部的表了。连接外部的表,那哪个放左边,哪个放右边呢?都可以啦。只是查到的数据会不太一样。放左边江湖人送外号:左外连接。武器:left join左外连接(左连接):结果集几包括连接表的匹配行,...原创 2021-11-12 15:54:07 · 651 阅读 · 0 评论 -
SQL超级简单的基础入门
做项目三大件:开发语言、数据、业务。数据主要涉及到存储,一般的情况下大家用的都是标准的RDS来进行存储比较多。在和开发的同学聊的时候,发现很多同学对于数据库的操作不是很清楚。有些同学一些基本的操作语句都不太会写,可能是用多了navicat的缘故吧。在这里把基本的SQL操作语句拉出来,大家可以收藏下。很简单的语句。下面以MySQL为例,其它的RDS基本上都差不多的。1、数据库的基本操作1、创建数据库 CREATE DATABASE database-name2、备份 m..原创 2021-11-03 11:20:10 · 1962 阅读 · 1 评论 -
authentication plugin “caching_sha2_password” 问题解决
这个问题比较简单,直白的说就是找不到caching_sha2_password。加上前面的mysql的错误前缀。判断是因为Mysql的驱动版本的问题。看下是不是你的Mysql数据库用了8的版本,驱动版本没有更新上来的问题?一般这种的情况都是因为老项目更新导致的问题,把对应的版本同步更新下就好了。...原创 2021-08-09 15:29:07 · 1755 阅读 · 0 评论 -
cj.exceptions.CJException: Access denied for user XX to database 问题解决记录
都是非技术问题的教训。不要以为技术厉害就OK了,非技术问题,经常困扰着一群老哥。为啥 ,因为你有技术这个锤子!要不你把网线拔了,然后问下十年以上运维大佬,网线显示无法连接,上不了网要怎么处理?试试看,应该会有意想不到的惊喜 !原创 2021-07-23 18:30:41 · 1613 阅读 · 1 评论 -
Mysql执行脚本Specified key was too long; max key length is 767 bytes问题解决
在用Navicate执行Mysql脚本的时候,一帆风顺。因为生产库不允许远程操作,这个你懂的。所以没办法就把数据库脚本整体从本地导出来了,然后使用阿里云的数据导入功能。在执行数据导入任务的时候,Burt!就弹出了“Specified key was too long; max key length is 767 bytes”这个错误,还好哥们选择的是错误不 继续的方式,否则等下找错误,就不知该从 何处下手了。分析了下(假的 ),直接百度,说是因为5.7版本的Mysql默认将innodb_larg原创 2021-07-22 16:02:04 · 894 阅读 · 0 评论 -
mysql+mybatis 批量操作sql对象过大问题解决
在批量操作的时候,mybatis的底层还是组装SQL语句执行。当行数过多,则会导致SQL过大而执行失败。处理方式有两种:原创 2020-12-12 15:05:40 · 1508 阅读 · 0 评论 -
Mysql函数length计算长度问题
CHAR_LENGTH以字符characters为单位,LENGTH是字节Byte为单位。原创 2020-12-05 10:48:06 · 1267 阅读 · 0 评论 -
mysql行转列操作
-- 将用户id使用逗号进行分割。SELECT GROUP_CONCAT(cast(`user_id` as char(10)) SEPARATOR ',') as id from user;原创 2020-11-30 19:58:03 · 485 阅读 · 0 评论 -
mysql安装:one more product requirements have not been satisified解决办法
在新机器上安装MySQL的时候提示以下弹窗错误:one more product requirements have not been satisified上面这个问题主要是因为缺少必需的系统级组件导致的。一般是因为缺少了执行环境的C++组件问题。解决办法很简单:在安装的时候弹出了错误对话框的时候,直接选择了“No"提示缺少了对应的程序,例如Python3.7的连接等。你也...原创 2019-07-11 11:03:46 · 14690 阅读 · 1 评论 -
MYSQL “Access denied; you need (at least one of) the SUPER privilege(s) for this operation” 问题解决
在Navicat中执行一个脚本的时候,报“Access denied; you need (at least one of) the SUPER privilege(s) for this operation”错误。仔细检查了下发现是因为创建语句上加了DEFINER约束。直接删除DEFINER约束条件,重新运行就好了。事后问了下同事,是因为脚本是从数据库导出来的。应该是工具导出来的时候把角色 ...原创 2019-06-06 10:01:36 · 64886 阅读 · 0 评论 -
navicat连接异常 authentication plugin 'caching_sha2_password' 问题解决
mysql 8.0 默认使用 caching_sha2_password 身份验证机制 —— 从原来的 mysql_native_password 更改为 caching_sha2_password。从 5.7 升级 8.0 版本的不会改变现有用户的身份验证方法,但新用户会默认使用新的 caching_sha2_password 。客户端不支持新的加密方式。修改用户的密码和加密方式。在...原创 2019-03-07 18:51:45 · 42355 阅读 · 1 评论 -
laravel+Mysql 中DB原生SQL操作报1292 Truncated incorrect DOUBLE value问题解决
昨天接到一个批量更新的需求。因为laravel不支持批量的更新操作,故使用了原生的sql进行拼接(可能laravel支持批量,我不知道)。在做一个批量更新的操作的时候,提示报错!错误如下:上面错误简单说就是SQL有问题,我自认为是没有问题的啊。我把SQL语句放到Navicat for Mysql中,执行发现是正常的。SQL语句:执行结果成功:原创 2017-11-17 11:12:52 · 66247 阅读 · 0 评论 -
Linux下oracle数据库启动和关闭操作
第一步:登陆 root登陆之后切换到oracle用户上,输入 su oracle第二步:连接 在oracle用户下,输入 sqlplus /nolog第三步:使用管理员权限 输入 connect /as sysdba第四步:启动/关闭服务 输入 startupstartup参数 不带参数,启动数据库实例并打开数据库,以便用户使用数据库,在多数情况转载 2017-02-12 17:55:55 · 528 阅读 · 0 评论