东境物语

Faiss 是由 Facebook AI 团队开发的一款强大工具，在大规模数据处理和相似性搜索领域占据着重要地位。在当今信息爆炸的时代，数据规模呈指数级增长，如何从海量数据中快速准确地找到相似的数据成为了关键挑战。Faiss 应运而生，它专门为处理大规模数据集的相似性搜索和聚类而设计。其重要作用不言而喻。首先，能够在大规模数据集中实现高效的相似性搜索，即使面对数十亿个高维向量，也能迅速找到与目标向量相似的结果。这对于图像检索、推荐系统、自然语言处理等众多应用场景至关重要。

在当今信息化时代，社交网络的数据量以指数级的速度增长，人们在社交网络中产生了海量的交互数据。如何从这些复杂的数据中提取有价值的信息，成为了数据科学和社交网络分析领域的一大挑战。图数据库作为一种有效的数据管理和分析工具，在社交网络分析中扮演着越来越重要的角色。本文将深入探讨图数据库的概念、特点及其在社交网络分析中的应用实践。

Faiss是由Facebook AI Research（FAIR）团队开发的一个高效向量相似性搜索库。它主要用于快速检索和聚类大规模高维向量数据。Faiss不仅支持CPU和GPU，还提供了丰富的索引结构和优化算法，能够在保证高精度的同时，大幅提升检索速度。Faiss作为一个高效的向量检索库，凭借其丰富的索引结构、强大的GPU加速能力和灵活的API，受到了广泛的关注和应用。无论你是构建推荐系统、图像搜索还是进行自然语言处理，Faiss都能为你提供高效、可靠的解决方案。

传统的关系型数据库（RDBMS）以其严格的ACID事务、优秀的一致性和安全性在企业应用中占据了长久的统治地位。然而，随着互联网、大数据和云计算的兴起，非关系型数据库（NoSQL）因其灵活的数据模型、易于水平扩展的特性和优异的处理高并发请求的能力，在特定场景下得到广泛应用。此外，时间序列数据库（TSDB）、图数据库等针对特定类型的数据和查询提供了更加专业的解决方案。除此之外，新型数据库如向量数据库则为机器学习、人工智能和相似性搜索提供了更高效的整体解决方案。本文将探讨9种数据库，涉及各种数据库风格。

工作过程中，经常需要把一些sql的DDL 建表语句，导出到EXCEL，或者表格文档中，当作数据字典，供其他人员进行查看和分析，对于在 windows 或者mac 环境的一些mysql可视化工具差异，导致有的可以直接导出，有的则不行。为了导出DDL，还要安装其他支出导出的可视化工具， 甚至是需要破解，成本较大，故参考研究出以下sql 可以直接查询，然后把查询的结果，复制到excel即可，简单方便。然后复制结果，直接粘贴到excel 中即可。

报错：Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535.mysql属于关系型，行式数据库， 规定单行长度不能超过65535一点都不过分。 你想当你超过65535后， 查询的iops怎么撑得住。某表已存在100个字段，在新增3个字段时，报如下错误：经排查发现MySQL默认规定一条记录的最大长度不能超过65535。（1）单个字段如果大于65535..

通过SQL查看MySQL表占用空间大小

数据库瓶颈不管是IO瓶颈还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务service来看，就是可用数据库连接少甚至无连接可用，接下来就可以想象了（并发量、吞吐量、崩溃）。IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询会产生大量的IO，降低查询速度->分库和垂直分表 第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 ->分库 CPU瓶颈 第一种：SQl问题：如SQL中包含

为了清楚大字段对性能的影响，我们必须要知道innodb存储引擎的处理方式：1、一些知识点1.1 在InnoDB 1.0.x版本之前，InnoDB 存储引擎提供了Compact和Redundant（Redundant 格式是为兼容之前版本而保留的）两种格式来存放行记录数据，compact 和 redundant 合称为Antelope (羚羊)

ps-oschttps://www.percona.com/doc/percona-toolkit/LATEST/pt-online-schema-change.html一、MySQL ddl 的问题现状在运维mysql数据库时，我们总会对数据表进行ddl 变更，修改添加字段或者索引，对于mysql 而已，ddl 显然是一个令所有MySQL dba 诟病的一个功能，因为在MySQL中在对表进行ddl时，会锁表，当表比较小比如小于1w上时，对前端影响较小，当时遇到千万级别的表 就会影响前端应用对表.

一、扩展字段表一个表的字段可能并非一成不变，系统的运行、需求的变化等客观条件可能会需要增加其他字段，如何在不直接修改表设计的前提下满足需求呢？该扩展字段表的思想就是将列设计转化为行设计，字段的增加表现为记录的增加。当然这种方式也不是万能的，对于需要排序、查询和索引的字段最好还是通过添加表字段的方式增加。字段名称 数据类型 属性 允许空 默认值 备注 ext_id int (4) PK AI 扩展字段编号 ...

使用场景在线数据库的维护中，总会涉及到研发修改表结构的情况，修改一些小表影响很小，而修改大表时，往往影响业务的正常运转，如表数据量超过500W，1000W，甚至过亿时在线修改大表的可能影响在线修改大表的表结构执行时间往往不可预估，一般时间较长 由于修改表结构是表级锁，因此在修改表结构时，影响表写入操作 如果长时间的修改表结构，中途修改失败，由于修改表结构是一个事务，因此失败后会还原表结构，在这个过程中表都是锁着不可写入 修改大表结构容易导致数据库CPU、IO等性能消耗，使MySQL服务器性能

传统的分库分表传统的分库分表都是通过应用层逻辑实现的，对于数据库层面来说，都是普通的表和库。分库分库的原因首先，在单台数据库服务器性能足够的情况下，分库对于数据库性能是没有影响的。在数据库存储上，database只起到一个namespace的作用。database中的表文件存储在一个以database名命名的文件夹中。比如下面的employees数据库：mysql> show tables in employees;+---------------------+| Table

分表和分区的区别：一，什么是mysql分表，分区什么是分表，从表面意思上看呢，就是把一张表分成N多个小表，具体请看:mysql分表的3种方法。什么是分区，分区呢就是把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的磁盘上，具体请参考mysql分区功能详细介绍，以及实例。二，mysql分表和分区有什么区别呢1，实现方式上（1）mysql的分表是真正的分表，一张表分成很多表后，每一个小表都是完正的一张表，都对应三个文件，一个.MYD数据文件，.MYI索引文件，.fr

测试表:user有id，name，age，sex字段测试表:goods有id，name，price字段测试表:ug有id，userid，goodsid字段视图的作用实在是太强大了，以下是我体验过的好处：作用一： 提高了重用性，就像一个函数。如果要频繁获取user的name和goods的name。就应该使用以下sql语言。示例： select a.name...

高可用高可用(High Availabiltity)应用提供持续不间断(可用)的服务的能力 系统高可用性的评价通常用可用率表示造成不可用的原因硬件故障(各种) 预期中的系统软硬件维护 软件缺陷(应用代码，服务程序都可能存在bug) 攻击，泄露，认为失误...等安全事件 对于系统来说，不可用时间是各关键组件不可用时间的总和.....提高可用性的主要手段冗余，Redu...

B树：B+树：结构上B树中关键字集合分布在整棵树中，叶节点中不包含任何关键字信息，而B+树关键字集合分布在叶子结点中，非叶节点只是叶子结点中关键字的索引； B树中任何一个关键字只出现在一个结点中，而B+树中的关键字必须出现在叶节点中，也可能在非叶结点中重复出现；性能上（也即为什么说B+树比B树更适合实际应用中操作系统的文件索引和数据库索引？）不同于B树只适合随机检索，B...

安装步骤1、下载　　　　下载地址：http://dev.mysql.com/downloads/mysql/5.6.html#downloads　　　　下载版本：我这里选择的5.6.33，通用版，linux下64位　　　　也可以直接复制64位的下载地址，通过命令下载：wgethttp://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5....

在事务执行过程中，如果有加锁操作，这个锁需要等事务提交时释放。时间线 事务1 (T1) 事务2(T2) t1 BEGIN; BEGIN; t2 UPDATE lockdemo SET state = '666' WHERE id = 2; t3 UPDATE l...

索引未生效情况使用了like，且以通配符开头('%abc...')mysql索引失效会变成全表扫描的操作 加了联合索引，如果where条件中是OR关系，索引不起作用 加了联合索引，但是使用时没有符合最左原则（联合索引采用最左原则）； 不要在索引列上做任何操作（计算、函数、(自动or手动)类型转换），会导致索引失效而转向全表扫描 SELECT * FROM `tbl_shopmall_p...

介绍Yearning SQL 审计平台 基于Vue.js与Django的整套mysql-sql审核平台解决方案。提供基于Inception的SQL检测及执行。GitHub：https://github.com/cookieY/Yearning文档：https://cookiey.github.io/Yearning-document/安装部署（centos6.8）1、Ng...

工作中遇到此异常，查找解决问题时，收集整理形成此篇文章。问题场景问题出现环境：1、在同一事务内先后对同一条数据进行插入和更新操作；2、多台服务器操作同一数据库；3、瞬时出现高并发现象；不断的有一下异常抛出，异常信息：org.springframework.dao.CannotAcquireLockException: ### Error updating datab...

现在流行的监控系统很多，选择一个合适自己的就可以了，例如Zabbix、Nagios；监控MySQL为主的有MySQLMTOP、Lepus。本文主要介绍快速部署lepus以及监控MySQL，因为作为DBA我们还是注重MySQL的监控，当然系统状态也非常重要，监控成为我们日常工作不可缺少，废话就不多说了，下面开始环境搭建。官方网站：http://www.lepus.cc/page/product...

其实很简单，索引是否起叙用，主要取决于字段类型：1. 如果字段类型为字符串，需要给in查询中的数值与字符串值都需要添加引号，索引才能起作用。2. 如果字段类型为int，则in查询中的值不需要添加引号，索引也会起叙用。IN的字段，在联合索引中，按以上方法，也会起作用。3.mysql查询优化器认为全表扫描时如果速度大于使用索引，就会不用索引，你可以使用FORCE INDEX强制mysq...

背景：最近线上经常抛出mysql的一个Deadlock，细细查来，长了知识！分析：错误日志如下:21:02:02.563 ERROR dao.CommonDao [pool-15-thread-19] [jbc.trade.qunar.com] [703c9ddbe4b143609035365ca46bff35] - db error , tableId=jbc.tr

一、数据表结构CREATE TABLE `jx_attach` ( `attach_id` int(11) NOT NULL AUTO_INCREMENT, `feed_id` int(11) DEFAULT NULL , `attach_name` varchar(255) NOT NULL, `cycore_file_id` varchar(255) DEFAULT NULL...

一、什么是表分区通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。 如：某用户表的记录超过了600万条，那么就可以根据入库日期将表分区，也可以根据所在地将表分区。当然也可根据其他的条件分区。二、为什么要对表进行分区为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率。分区的一些优点包括：与单个磁盘

做项目时由于业务逻辑的需要，必须对数据表的一行或多行加入行锁，举个最简单的例子，图书借阅系统。假设id=1的这本书库存为1，但是有2个人同时来借这本书，此处的逻辑为Select restnum from book where id =1 ; -- 如果 restnum 大于 0 ，执行 update Update book set restnum=

1）MySQL 高并发环境解决方案  分库  分表  分布式  增加二级缓存2) 现有解决方式：水平分库分表，由单点分布到多点数据库中，从而降低单点数据库压力。      集群方案：解决DB宕机带来的单点DB不能访问问题。  引入负载均衡策略（LoadBalancePolicy简称LB）      读写分离策略：极大限度提高了应用中Read数据的速度和并发量

1、将txt文档内容入mysqlLOAD DATA LOCAL INFILE 'D:/a.txt' INTO TABLE db.`test` FIELDS TERMINATED BY '\t';

MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，遇到最多的，也是最容易出问

SHOW PROCESSLIST显示哪些线程正在运行。您也可以使用mysqladmin processlist语句得到此信息。如果您有SUPER权限，您可以看到所有线程。否则，您只能看到您自己的线程（也就是，与您正在使用的MySQL账户相关的线程）。如果您不使用FULL关键词，则只显示每个查询的前100个字符。

前言MySQL 的存储引擎可能是所有关系型数据库产品中最具有特色的了，不仅可以同时使用多种存储引擎，而且每种存储引擎和MySQL之间使用插件方式这种非常松的耦合关系。由于各存储引擎功能特性差异较大，这篇文章主要是介绍如何来选择合适的存储引擎来应对不同的业务场景。MyISAM1.特性　　不支持事务：MyISAM存储引擎不支持事务，所以对事务有要求的业

注：这篇文章是以 MySQL 为背景，很多内容同时适用于其他关系型数据库，需要有一些索引知识为基础优化目标减少 IO 次数IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段。降低 CPU 计算除了 IO 瓶颈之外，SQ

希望下面的这些优化技巧对你有用。1. 为查询缓存优化你的查询大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一，而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候，这些查询结果会被放到一个缓存中，这样，后续的相同的查询就不用操作表而直接访问缓存结果了。这里最主要的问题是，对于程序员来说，这个事情是很容易被忽略的。因为，我们某些查询

测试的方案：执行10万次Insert语句，使用不同方式。C组：静态SQL，不自动提交，有事务控制（InnoDB引擎）1、逐条执行10万次2、分批执行将10万分成m批，每批n条，分多种分批方案来执行。D组：预编译模式SQL，不自动提交，有事务控制（InnoDB引擎）1、逐条执行10万次2、分批执行将10万分成m批，每批n条，分多种

测试的方案：执行10万次Insert语句，使用不同方式。A组：静态SQL，自动提交，没事务控制（MyISAM引擎）1、逐条执行10万次2、分批执行将10万分成m批，每批n条，分多种分批方案来执行。B组：预编译模式SQL，自动提交，没事务控制（MyISAM引擎）1、逐条执行10万次2、分批执行将10万分成m批，每批n条，分多

本文主要描述mysql使用命令备份和还原。