本博客记录了从2014年以来在工作学习中遇到的技术问题、解决方法以及部分个人人生经历、经验等内容。

Dubbo3 的官方文档地址：其针对一些问题进行了优化和改变。个人整理3个小的方面：1. 在服务注册方面使用 @DubboService 注解，不再使用 @Service 这个关键词，以区别于 Spring 的 @Service 注解。即 @Service 注解从 3.0 版本开始就已经废弃了。2. 在服务发现方面，使用 @DubboReference 注解，而 @Reference 注解从 3.0 版开始废弃，以区别于 Spring 的 @Reference 注解。

SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。按照官方的文档最近在搭建Milvus的搜索。参考官方文档地址如下：按照上面的方法使用docker搭建起了一个搜索内容，并且通过导入测试文件text.csv以及example.csv文件可以进行NLP检索。但这些测试数据都是英文，如果导入中文的csv文件会报错。

Milvus是一款开源的、针对海量特征向量的相似性搜索引擎。基于异构众核计算框架设计，成本更低，性能更好。在有限的计算资源下，十亿向量搜索仅毫秒响应。Milvus 是专为AI而生的数据库。Milvus具有以下特点和优势：向量数据库：它是一个向量数据库，更加工业级可用。海量数据快速检索：万亿条向量数据搜索的平均延迟以毫秒级别，速度不比Facebook的Faiss差。稳定可靠：具有故障转移和故障恢复机制。高可用可拓展：读写分离、实时离线分离，提供单机和分布式版本。

OpenCV是一个用C++语言编写的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。轻量高效而且还提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。在计算机视觉项目的开发中，OpenCV作为较大众的开源库，拥有丰富的常用图像处理函数库，安装和使用OpenCV可以直接使用pip安装，我这里是Python3.11版本。OpenCV依赖一些库，比如Numpy，在执行OpenCV安装的时候会自动安装上的。

此文章一这么长应该是转载的某处内容。GetLastError （错误信息）原型： function GetLastError()以可读形式返回最近的错误描述信息。如果前一次API调用没有错误，返回空字符串。任何其他函数（如 Query()）失败后（函数失败一般返回false），都应该调用这个函数，它将返回错误的描述。GetLastWarning （告警信息）原型： function GetLastWarning ()以可读格式返回最近的警告描述信息。

偶尔碰到一个需求，我需要使用awk打印数据，但是只需要打印某列之后的其它列，比如我只要第2列及之后的所有数据，如何实现呢？这个能成功按我们的想法执行，说明awk命令中$0并不是在拿到原始数据之后进行行处理时的一行内容，而是最后将各$列相互拼接在一起的$0。而在此之前我一直在脑海里认为$0是awk一开始进行行处理时的原始整行内容，并且不会变化。所以这个命令的执行说明我原来的想法是错的，$0会随着你更改任何一项$列而进行变化。

在使用elasticsearch7.7.1搭建集群，使用了3台服务器作为节点，但在搭建的过程中发现每台服务器的elasticsearch服务都正常，但是不能相互发现，期间进行了一些配置的修改偶尔出现了相互发现，但没过多久又断了联系。主要原因还是elasticsearch7.*版本有些不一样，网上的资料各个版本都有，但都比较老，好多配置项在7版本中已经废弃了，而到网上一找到处都充斥着这些老版本的使用教程，新的太少。ik_smart: 会做最粗粒度的拆分，比如我们去电影院吧，里面的电影院就直接是电影院。

Zookeeper可以认为是一个分布式协调服务指挥官，每个微服务启动的时候把自己的IP、端口注册到Zookeeper服务中心，而其它调用这个服务的业务要调用这个微服务时直接就拿到可以服务的对象列表，然后业务自己根据一定的规则调用服务即可。在linux服务器下直接wget解压后修改配置目录conf下的zoo_sample.cfg为zoo.cfg。

redis的GEO地理位置功能在Redis3.2版本上发布，这个功能可以将用户给定的地理位置信息（经纬度）储存起来，并对这些信息进行操作，包括计算两个位置的距离。非常适合一些LBS（Location Based Service基于位置的服务）场景的使用.

MySQL XA 事务简单说就是基于多数据库的事务，通常用于分布式事务处理当中。比如在分库分表的场景下，当遇到一个用户事务跨了多个分区，需要使用XA事务 来完成整个事务的正确的提交和回滚，即保证全局事务的一致性。目前我还没有用过XA事务，我感觉能与XA相关联的可能就是业务与业务间的调用吧，这些工作很多时候都是通过接口来实现两边的数据处理，而接口实现的话需要做到的就是支持数据重入不发生错误，但接口重入肯定没法保证数据一致性，另外也并非每个库都有必要提供接口化服务，这也许就是XA（分布式事务）存在的原因吧。

redis集群是个常用的需求和应用，在我做的业务中，也同时使用了二十多台REDIS服务器，一些是主从架构，另一些是集群（数据很多，读取）。为什么会分主从架构和集群架构？

负载均衡里比较常用的有nginx，HAproxy，还有linux自带的lvs，一般nginx就够了，不过相比nginx，haproxy还是有不少的优点：1，haproxy可以代理任何基于TCP的东西--而不仅仅是HTTP。即haproxy工作在第4层或者是第7层，而nginx只能在第7层。2，相比nginx有非常多的负载均衡算法，包括“最少连接数（least connections）”策略，将后端服务器和最少连接数关联起来；

阿里云的开源镜像站地址： https://mirrors.aliyun.com/repo/ 在里面可以看到还有Centos-6.repo的repo包，但下载下来执行源更新会遇到问题后面的其它地址也一样会请求超时。mirrors.aliyun.com镜像中 http://mirrors.aliyun.com/centos/6/os/x86_64/repodata/repomd.xml: 这些地址都无法访问。

对象存储服务(Object Storage Service，简称OBS)是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。存储对象可以是图片、视频等文件。存储服务OBS的基本组成是桶Bucket和对象Object。桶是OBS中存储对象的容器，每个桶都有自己的存储类别、访问权限、所属区域等属性，用户在互联网上通过桶的访问域名来定位桶。

在使用非docker安装时，redis的安装包里到是有redis.conf默认文件，但使用docker安装时，不好直接找到啊。没法使用redis本身自带的redis.conf。使用docker搭建redis服务，本身redis启动的时候可以指定配置文件的， redis-server /指定配置文件路径/redis.conf。如果不是在DOCKER容器中一般可以通过指定PIP源的方法解决，如果是在docker容器中一般要修改docker中的DNS地址，可在本CSDN博客中搜索我的文章内容。

在网上下载的一些docker-compose.yml在执行的时碰到过多次如下报错：看意思是只有使用--subnet创建的网络才能指定静态IP，即因为文件中有指定IP运行容器导致报错。docker-compose.yml文件我也没有修改，直接运行就报的错。但也不是所有的地方运行都报错，偶尔在一台服务器上也成功执行过。通过摸索我发现有以下几个方法可以试试，至少在我都曾解决过问题正常启动了。

Gitlab太占用内存了，而我个人其实只需要其代码存储管理功能，为了这个功能搭建个git吃掉了我这买的云服务器的一半的内存，真的太不值，我还是找其它的替代方案吧，现在有很多的云代码存储方案，不过我还是希望代码自己管理。继续使用SVN吧。找了一下镜像包，有一个garethflowers/svn-server 镜像，不超过10M真是小巧。创建仓库之后修改仓库下的svn_authz，svn_passwd账号之类的数据等设置账号，和在裸机下的其它配置就一样了。

在使用docker-compose进行up -d安装的时候，提示报错：Unsupported config option for services service: 'db'，在docker-compose.yml配置文件中有一db项，使用mysql5.7镜像包进行服务安装，但并没有什么问题，然而在执行的时候却报上面的错误。我的docker-compose是刚刚进行安装的，之前的docker-compose版本较旧。默认情况下，docker-compose将对不同的服务输出使用不同的颜色来区分。

在使用docker启动服务的时候遇到警告WARNING: Published ports are discarded when using host network mode，其解释的意思就是在使用docker启动的时候如使用host网络模式,将会抛弃Published ports端口设置。即docker启动时指定--network=host或-net=host让容器和宿主机共享Network namespace，这时再指定-p或-P就会有此警告，并且-p或-P设置的参数也不会生效。

网上有碰到说配置host的时候也碰到过类似的错误，认为是配置文件和docker启动文件中的配置冲突导致的，然后在docker的启动命令中删除了相关的启动项从而解决了问题，但我真不敢相信docker这么不聪明么，配置文件的数据可以当做值来覆盖启动中的参数值啊，不过虽然这个和我不是一样的问题，但其解决方法也给了我启示。甚至在其它的服务器上备份，如果需要再启一个环境，只需要将镜像文件发到目标服务器上进行加载即可，不过对于一些云业务就需要将镜像提交到镜像仓库进行处理比较好。在拉取之前，我们首先需要进行身份的验证。

在启动容器时忘记挂载数据卷，会自动挂载到匿名卷。格式：VOLUME ["", ""...]避免重要的数据，因容器重启而丢失，这是非常致命的，同时可以避免容器不断变大，在启动容器 docker run 的时候，我们可以通过 -v 参数修改挂载点。

在UBUNTU服务器中启动了一些docker容器，但容器中缺少很多命令，比如vim就没有，于是执行apt install vim，但报错E: Could not open lock file /var/lib/dpkg/lock-frontend - open (13: Permission denied)

载入之后就是开机这个服务就会启动。执行成功就会在就会在/etc/systemd/system/multi-user.target.wants/目录下新建一个/usr/lib/systemd/system/nginx.service 文件的链接。系统的任务存放在/user/lib/systemd/system/中；从现象推测，使用systemd守护docker下的容器进程，容器带上-d参数表示后台执行，此进程执行后，实际已看不到docker进程，而真正执行的只是php的进程在跑，可以使用ps查看。

在Linux系统中，PHP-FPM使用SYS_PTRACE跟踪worker进程，SYS_PTRACE是什么？设置指定的值. 只适合于 PHP_INI_ALL 和 PHP_INI_PERDIR 类型指令. 清除之前设置的值使用 none 标记. Note: 不要使用 php_value 设定布尔值和php_flag (见下文) .docker中添加PHP配置项的方法有不少，php_value、php_flag、php_admin_value、php_admin_flag，如下是一个加载的php配置文件示例。

我这边报400的请求是文件上传接口的问题，我初步估计是请求头过大的原因。先根据client_header_buffer_size配置的值分配一个buffer，如果分配的buffer无法容纳 request_line/request_header，那么就会再次根据large_client_header_buffers配置的参数分配large_buffer，如果large_buffer还是无法容纳，那么就会返回414（处理request_line）/400（处理request_header）错误。

在使用docker时，会遇上这样的情况，比如用户上传的一些图片资源等文件，直接放在代码里面肯定是不合适的，而如果使用一些软链接将资源链接至其它目录下之后你可能会遇到PHP能找到目录，但是nginx找不到目录，因为在docker容器中nginx的默认www目录是/usr/share/nginx/html/，而php的默认目录是/var/www,因此就会造成在加载文件时出现其中一个应用程序才能加载到，当然这问题可以解决，而你越早知道这个问题，就可以越早避免先进行了一些部署操作然后重新来进行修改处理。

但我认为使用mount的--make-shared选项可以解决这个问题，不过我没有去尝试应用，我使用的是另一种比较简单省事的办法：就是先启动nfs,然后再启动docker, 我上面碰到了问题的情况正是因为先启动的docker然后再启动的nfs，这样nfs挂载将传播到容器中，这个方法我已经尝试使用并且验证成功。默认使用的是private mount，通过mount命令也可以查看到有--make-shared等选项，可以设置mount模式。showmount -a 服务器ip #查看挂载的nfs客户端列表。

在此过程中可能会碰到在切换MYSQL账户时提示说明账户未启用，查看账号配置信息查找到mysql账号的数据发现它的shell是“/sbin /nologin”，这种状态是不能使用的，所以需要将起改成“/bin/bash”解决方法：把 mysql:x:500:500::/home/mysql:/sbin/nologin 修改为mysql:x:500:500::/home/mysql:/bin/bash 保存即可。

ClickHouse是什么？ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。由Yandex公司从一个自身开发的专门用于聚合数据的系统Metrage发展而来。clickHouse以卓越的查询性能著称，目前在大数据的存储和分析领域有广泛应用。ClickHouse不单是一个数据库， 它是一个数据库管理系统。因为它允许在运行时创建表和数据库、加载数据和运行查询，而无需重新配置或重启服务。列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。

到docker的镜像仓库中去寻找对应版本的镜像，如我这里要找的是gitlab-ee:13.3.5版本。然后使用docker拉取对应的镜像文件。

关于给docker容器中的PHP安装扩展之前有一篇文章：，不过在安装swoole的时候遇到一些问题，所以在这里记录一下。docker容器安装PHP扩展有两种比较方便的方式，一个就是上面这篇文章中的使用docker-php-ext-install命令安装，但这个的前提是需要将对应的扩展包下载下来解压放到容器中的 /usr/src/php/ext/目录里。另外就是直接使用pecl安装php扩展。这里使用的是pecl安装。

在docker容器中手动修改了hosts增加了一些域名的解析，但对容器进行重启后hosts全部丢失了。因为容器中的/etc/hosts,、/etc/resolv.conf、/etc/hostname这三个文件并不存在于镜像中，而是存在于宿主机的/var/lib/docker/containers/目录中，在重启docker容器时会通过mount的形式将这些文件挂载到容器内部。因此会覆盖容器中对这些文件的手动修改。

向docker官网推送镜像包之前先到https://hub.docker.com/进行注册，在服务器上准备好镜像之后使用docker login登录。在服务器上登录docker输入账号密码后提示报错：按提示的意思是无法存储信用凭证。

在docker容器中是无法直接获取宿主服务器中的Mac地址的，容器中使用命令或者程序中所获取的mac地址是容器内部的临时Mac地址，但这样Mac地址会在进行一操作比如服务器重启、容器重新构建的时候会发生变化，只在restart容器的时候不会变，这就不符合我们取mac地址的用途（取mac就是希望得到一个不变的硬件服务器相关的参数值）。要想获取宿主服务器的Mac地址，需要在启动docker容器的时候通过启动命令传入mac地址。如下在启动容器的命令中添加进环境变量的命令选项。

docker访问一个明明存在的文件，但是访问出现404，刚开始使用docker的时候可能不大习惯，因为使用docker之后，你的nginx和php中的所有路径都需要写容器里的路径，而不是容器外的服务器目录路径，而我们在配置的nginx的root以及php的目录的时候就很可能忽略了这个地方的改变，导致访问的时候我们认为肯定存在的文件实际并不在docker里容器访问的目录里。标准时间值是Etc/UTC，修改为Asia/Shanghai即可。

之前一直使用docker save和 docker load 命令来操作 docker 镜像，有次试着使用 export 和 import 来操作。执行下面的命令后，文件会保存到当前命令执行的目录下。使用 docker export 命令根据容器的 ID 将镜像导出形成一个文件如下。使用 docker import 命令将镜像文件导入进来。

对于分布式集群MinIo，一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全可读的。但需要至少有N/2+1个硬盘在线，才能创建新的对象。部署分布式MinIO集群，需要注意1、分布式MinIO所有节点需要相同的MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数，保证可相互连接。2、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。3、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。

使用docker就是因为docker可以快速进行多服务器部署，所以需要对部署好的环境进行打包复制并快速在其它的服务器上进行重建。从上面显示来看，最后显示的是一个镜像，说明在原docker服务上面打包时一次只能打包一个容器成镜像，不能支持多个容器一起打包成一个。

先说明一下哈，我这里是安装的 Mysql8.0版。先下载8.0的镜像，直接 mysql:8.0 即可，如果下载较慢的话，去 /etc/docker/daemon.json 里配置一下 国内镜像地址。文件 mysqld.cnf 内容如下：[mysqld][client][mysql]

Docker启动容器后，默认Docker的日志会发送到容器的标准输出设备（STDOUT）和标准错误设备（STDERR），其中STDOUT和STDERR实际上就是容器的控制台终端。虽然我们能查看日志，但这些日志存储在哪里呢？这里就需要提到Docker logging driver这个概念。Docker logging driver是Docker收集容器日志及内部运行服务的日志的机制,这些机制统称为logging drivers。