weixin_44505713的博客

在一个有1300w的数据集中检索1w条数据，如果不走project，需要大概200s左右，走project的话，仅需不到1s。2、(SRV_FORCE_NO_BACKGROUND)：阻止主线程的运行，如主线程需要执行full purge操作，会导致crash。5、(SRV_FORCE_NO_UNDO_LOG_SCAN)：不查看重做日志，InnoDB存储引擎会将未提交的事务视为已提交。6、(SRV_FORCE_NO_LOG_REDO)：不执行前滚的操作。否则，如下，则没走project。

背景今天clickhouse集群又双叒叕宕机了，重启一直报错如下错误。clickhouse服务没能成功启起来。报错内容：error:Coordination::Exception: All connection tries failed while connecting to Zookeeper. Addresses: x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181Poco::Exception. Code:1000, e.code() = 111, e.displa

背景公司的数据同步工具使用datax，包括从hdfs、sqlserver、clickhouse上等进行同步。由于业务的增加，需要将数据从hdfs同步到elasticsearch，但公司原有的datax中并没有elasticsearch这个组件。处理过程1、之前都是使用现成datax，对于datax的安装并不是很了解。老思路，上github，找官方提供已有的相关东西。2、梳理一下，datax的添加组件的步骤可以归纳如下：a. 下载git上的源文件git clone https://github.c

背景公司的数据同步工具使用datax，包括从hdfs、sqlserver、clickhouse上等进行同步。由于业务的增加，需要将数据从hdfs同步到elasticsearch，但公司原有的datax中并没有elasticsearch这个组件。处理过程1、之前都是使用现成datax，对于datax的安装并不是很了解。老思路，上github，找官方提供已有的相关东西。2、梳理一下，datax的添加组件的步骤可以归纳如下：a. 下载git上的源文件git clone https://github.c

背景写完shell脚本，将shell脚本发布到生产环境，通常需要修改相关的配置文件（这里将文件称为命名为.env，里面有帐号密码）。因数据库修改帐号密码，所以需要改所有项目的.env文件。但今天修改完.env文件后，发现项目执行时仍然报帐号密码出错。原因分析1、.env文件内容如下2、source .env后读取到的结果，发现好像少了什么。3、对比了一下，立马反应过来，原来是“$7”惹的祸。4、liunx中“$”是一个特殊符号。“$7”表示用来读取第七个参数。所以在这里“$7”会被计算为

背景今天安装完单节点的hadoop，执行如下脚本，启动hadoop集群，出现如下报错：sh start-all.sh处理过程1、开始网上搜索各种资料，找到有个博主提示，直接执行即可。解决方案1、换其他的执行方式，都可以启动脚本。./start-all.shbash start-all.sh原因1、在其他地方找到了一个解释：/bin/sh是/bin/bash的软连接，使用sh调用执行脚本相当于打开了bash的POSIX标准模式，也就是说 /bin/sh 相当于 /bin/bash

【运维问题】Docker启动失败：Failed to start Docker Application Container Engine.报错信息: Job for docker.service failed because the control process exited with error code. See “systemctl status docker.service” and “journalctl -xe” for details.使用命令: systemctl status doc