- 博客(66)
- 收藏
- 关注
RSS订阅原创 mycat批量插入
记录一下mycat批量插入的问题，使用mybatis网上看到有说要使用注解：<!-- /*!mycat:catlet=io.mycat.route.sequence.BatchInsertSequence */ -->实际部署时候发现不需要使用，mycat版本为1.6.5<insert id="batchInsert"> <!-- /*!mycat:catlet=io.mycat.route.sequence.BatchInsertSequence */ --&g
2021-11-16 17:49:50
764
原创 HikariCP不断打印WARN日志Failed to validate connection com.mysql.jdbc.JDBC4Connection@xxxxx (...) Possibly
springboot项目启动后一直在日志里提示：Failed to validate connection com.mysql.jdbc.JDBC4Connection@xxxxx (…)Possibly consider using a shorter maxLifetime value.使用的连接池是hikari,修改了多次连接池配置均无效：spring.datasource.hikari.connection-test-query=SELECT 1spring.datasource.hikari
2021-07-13 17:50:12
3990
原创 mysql表存在却提示找不到表
客户反馈业务功能无法使用，排查日志发现sql异常，提示表不存在，于是去数据库查看show table，表是存在的,但是select * from table；提示表不存在。引起这个问题的原因有多种，暂未确定具体原因（一般是数据备份或迁移导致元数据文件损坏异常），解决思路是删除数据有问题的表或者数据库，因为里面只有一张不需要备份的数据表，可以直接删除，（如果数据需要备份且重要，请备份数据后，尝试重启mysql解决）删除库和表都是失败的：解决方案1.先进入mysql，查找到数据文件所在目录mysql&
2021-06-18 13:41:48
11898
原创 mysql主从，一方发生错误，恢复方式
今天收到客服反馈，有用户登录失败，提示账户不存在，进入mycat里查询发现确实查不出数据，于是进入物理库分别查询，发现俩个物理库数据不同步，检查主从配置发现错误，如下：mysql> show slave status\G;Slave_IO_State: Waiting for master to send eventMaster_Host: xx.xxx.xx.xxMaster_User: rootMaster_Port: 3306Connect_Retry: 60Master_Log_
2021-05-21 16:57:11
181
原创 zabbix安装使用
系统为ubuntu18.041.安装APT-Zabbix存储库sudo wget https://repo.zabbix.com/zabbix/4.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_4.0-2+xenial_all.debsudo dpkg -i zabbix-release_4.0-2+xenial_all.debsudo apt-get update2.安装依赖包sudo apt-get -y install languag
2020-12-24 18:50:57
176
1
转载 Default Activity Not Found
刚开始使用Android，使用工具是vs。发现一个问题，必须要选中mainActivity才可以启动，否则会报错：vs Error running ‘app’: Default Activity not found.原因是：强制关闭掉Android Studio后，再次打开项目就出现提示 Error: Default Activity Not Found。解决方法是：菜单栏选中 File -> Invalidate Caches / Restart然后点击 Invalidate and Re
2020-10-15 11:38:56
149
原创 logback输入日志到logstash
logback输入日志到logstash的方法1.配置logstash-6.5.0中的logstash.conf文件增加tcp模块，注意开放端口,格式必须为json# Sample Logstash configuration for creating a simple# Beats -> Logstash -> Elasticsearch piinput { file { path => "/home/emeet/
2020-08-12 15:59:53
2145
原创 ELK分布式日志搭建
ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。ElasticSearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜
2020-08-07 16:08:46
224
原创 vue 滚动条移动到最底部
vue中div内的文字是动态刷新的，文字多了以后，滚动条没有实时滚动到最新文字的地方解决办法：使用以下代码var container = this.$el.querySelector("#chatContainer"); console.log(container); container.scrollTop = container.scrollHeight;滚动条都是滚动到倒数第二条数据上，原因是有一个时间差，使用异步延时来设置滚动条位置也是可以的，但是会闪屏，不是最佳办法。所以需
2020-07-23 18:41:15
6863
3
转载 js获取麦克风数据通过websocket发送到后台
实现效果：PC端通过麦克风录音，通过 WebSocket实时传递到后台原始每包数据过于大，后台不能接收，需要分包处理，每包最大1024原始采样率为48000；通过合并压缩为自己所需采样率，demo中最终采样率为16000index.html<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <meta name="viewport" content="
2020-07-17 15:27:38
3891
2
原创 ngrok内存溢出错误
接上一篇的搭建完ngrok后，次日早上发现ngrok服务端停止工作了，查看日志发现是凌晨4点被阿里云的检查访问后内存溢出了，经过查询资料了解，是ngrok1.X版本都存在这个问题，但是2.0版本是不开放的，也就是源代码里面有这个问题，又不懂go语言，就采用了在服务端用脚本来检查ngrok进程，发现进程停止了就重启。1.编写脚本文件restartng.shsudo vim restartng.sh#!/bin/shwhile true do ps -ef | grep "ngrok" | g
2020-07-01 14:28:06
704
原创 ubuntu16.04搭建ngrok
Ngrok是一个隧道，即建立安全通道从公共端点到本地运行的网络服务，同时捕捉检查和重播所有流量的反向代理。简单来说，他可以代理你本地的数据，并将其转发到外网。当然原理没有大变，都是找一个公网服务器做中介。此处成为服务器 A。流程如下。本地内网主机和服务器A构建一条连接用户访问服务器A服务器A通过网络隧道转发到本地内网主机获取内容服务器A将获取到的内容发送给用户通过上面的流程，就实现了用户访问到了我们内网的内容。linux环境为ubuntu16.04安装依赖1.安装go环境注意 gol
2020-06-28 19:24:08
897
原创 java.io.FileNotFoundException: ....../nacos-server-1.2.1/conf/cluster.conf
ubuntu安装nacos1.2.1启动错误：java.io.FileNotFoundException: …/nacos-server-1.2.1/conf/cluster.conf因为默认启动的是集群模式解决此问题科用如下方法启动naos服务（详情可参考nacos issues#427）bash -f ./startup.sh -m standalone或者可以修改 startup.sh 头文件，#!/bin/sh 改成 #!/bin/bash然后采用 .startup.sh -m st
2020-06-01 15:41:17
3007
转载 FASTDFS防盗链
1.首先要在server端修改配置参数http.conf中防盗链相关的几个参数如下： # cd /etc/fdfs # vim /etc/fdfs/http.conf # if use token to anti-steal # default value is false (0) # 是否做token检查，缺省值为false。 http.anti_steal.check_token=true # token TTL (time to
2020-05-12 16:39:10
780
原创 FastDFS6.0.6搭建集群
前面一篇文章在搭建FastDFS集群的时候因为采用的是5.11版本，在ECS上部署一直无法实现文件的同步，还会一直在选举：INFO - file: tracker_relationship.c, line: 389, selecting leader…。看到官网更新了6.0.6版本的双ip特性可以解决这个外网和跨云的问题，所以马上更换到了最新版本，相匹配的软件也需要更新不同版本。创建目录的步骤就不记录了，和前面一篇FastDFS一样的路径，所以没有重新建路径。里面ip为随意修改的，注意更改。因为外网环境
2020-05-11 18:51:24
2085
3
原创 mycat register err
运行一段时间的mycat出现无法访问的情况，控制台无法链接：ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0查看日志发现：2020-04-27 08:53:09.735 ERROR [$_NIOREACTOR-1-RW]...
2020-04-28 20:20:56
742
转载 搭建FastDFS分布式文件系统
FastDFS简介 FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker ...
2020-04-26 11:21:27
289
转载 sql优化
记录一下看到的适用于mysql语句的优化1、查询 SQL 尽量不要使用 select *，而是 select 具体字段反例子：select * from employee; 正例子：select id，name from employee; 理由如下：只取需要的字段，节省资源、减少网络开销。select * 进行查询时，很可能就不会使用到覆盖索引了，就会造成回表查询。2、如果...
2020-04-17 09:25:33
215
原创 Host '' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'
今天查看mycat的mycat.log发现文件很大，很诧异，打开一看，全部都是错误：register err java.nio.channels.ClosedChannelException发现有个mysql节点链接失败，于是远程mysql -hxx.xxx.xxx.xx -u -p也是报错Host ‘hostname’ is blocked because of many connectio...
2020-03-25 14:19:24
1544
原创 Mycat更新配置不重启
mycat更新配置不重启的方式，重启会导致之前的mysql链接失效，客户端会出现异常。首先修改conf下的配置文件，需要更新配置操作如下1.连接到mycat的9066端口，注意不是8066mysql -u test -ptest -P 9066 -Dtest2.执行命令选择database会加载schema.xml配置的调整。reload @@config;刷新全部配置rel...
2020-03-16 17:03:16
1802
原创 mycat使用全局自增id数据库方式
1.创建Mycat生成唯一主键所需要的函数，放在一台mysql上即可，最好是放在mycat本机的mysql上DROP TABLE IF EXISTS MYCAT_SEQUENCE;CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR (50) NOT NULL,current_value INT NOT NULL,increment INT NOT NULL...
2020-03-14 16:21:03
505
原创 mysql互为主从配置
环境为2台ubuntu1604的ECS先在各数据库创建emeetdb库master1操作1.修改A数据库配置文件加入：!includedir /etc/mysql/conf.d/!includedir /etc/mysql/mysql.conf.d/[mysqld]lower_case_table_names=1server-id = 31binlog_do_db=emeet...
2020-03-05 18:43:31
300
原创 使用haproxy负载mycat集群
记录一下使用haproxy负载mycat集群的步骤前面的文章已经介绍勒mycat的安装和配置，这里就不介绍勒。本人采用的是2台ECS做的测试一，环境介绍：下面都是ubuntu1604的机器59.111.153.92 ：haproxy，mycat,mysql47.120.21.31 ： mycat,mysql为节省机器，所以haproxy在mycat一台机器，分开更好。mys...
2020-03-04 16:46:04
557
原创 mysql迁移到mycat
记录一下mysql单库迁移到mycat使用的多库记录，由于业务增速较快，单库会出现瓶颈，所以采用mycat来分表分库。由于之前的表字段过多，所以先采取分表，分为主表和详细表CREATE TABLE fileinfo( id INT NOT NULL , fid varchar(32) NOT NULL , userid varchar(32) NOT NULL ...
2020-02-27 14:38:11
795
原创 mycat导入导出数据
mycat端导出数据#导出数据mysql -h127.0.0.1 -P8066 -u test -p123456 TESTDB -e "select * from item" >/home/emet/item.txt可以借助工具导出，导出分片数据最好是到每个分片节点去导出，然后进行合并，避免数据冲突。#导入数据mysql -u root -p -P 8066 // 回车输入密码登...
2020-02-21 16:18:49
2468
1
原创 mycat扩容问题
上一篇写了mycat扩容的操作，但是还有一个添加节点扩容后数据没有迁移的问题遗留，确实会出现很多问题，一般都是和mysql交互的问题，本人问题已解决，所以记录一下注意事项：出现的错误有mysql权限1045问题mysql1064错误mysql无法连接错误等，也可以去查看mycat的源码，不过源码一般问题不大，总结了以下几点：1.mysql密码尽量设置成没有特殊符号的，也可以先修改，扩容完成...
2020-02-21 10:01:26
417
原创 mycat扩容
原有分片节点为2，此处扩容成3。2.1.1 mycat 所在环境安装 mysql 客户端程序2.1.2 mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包下载mysql-connect-jdbc-5.1.35.jar,下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.35 把下...
2020-02-19 13:45:32
442
3
原创 mycat分片数据存储到同一节点
记录2个问题，1.mycat分片后，分表的数据如何存储在同一节点，以关联表的方式配置，且只配置一次即可，不然会报错 <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="rule1" > <childTable name="itemdetail" joinKey="ietm...
2020-02-17 14:24:43
266
2
转载 使用mycat分库分表
本教程是在window环境下运行的，实际生产推荐在Linux上运行。必备条件(软件请自行安装)：JDK：建议是1.7及其以上。MySQL：必须是5.5及其以上。两张表users和item，三个数据库test01,test02,test03（三个库在一个数据库实例上）users只在test01中存储。item表被分割到test02和test03中存储。create databa...
2019-12-24 19:17:47
287
转载 阿里规定超过3张表，禁止join，为何？
一、 问题提出《阿里巴巴JAVA开发手册》里面写超过三张表禁止join，这是为什么?转自：https://www.xiaomiqiu.com/article/81
2019-12-16 16:47:35
359
转载 高并发分布式事务的实现方法及替代方案
这两天正在研究微服务架构中分布式事务的处理方案, 做一个小小的总结, 作为备忘. 如有错误, 欢迎指正!概念澄清事务补偿机制: 在事务链中的任何一个正向操作, 都必须存在一个完全符合回滚规则的可逆操作, 这个操作通常叫做rollback或者cancel.CAP理论: CAP(Consistency, Availability, Partition Tolerance), 阐述了一个分布式系...
2019-12-13 16:49:07
352
转载 mysql 快速导入大SQL文件
最近做项目遇到了一种情况，由于服务器所在网不能够通过任何的外部数据库连接工具连接，所以只能在服务器上使用命令去创建数据库，使用source 命令去导入数据执行脚本，由于导出的数据没有经过批处理，所以文件内部都是insert语句；但在具体运行的时候，导入的速度非常慢，顾而找到了如下的这种方法：原来在默认情况下，当你去执行某个.sql文件的时候事物是自动提交的，也就是说insert一次提交一次，这...
2019-12-02 16:38:59
1935
原创 mysql主从备份
1.两台机器都装上mysql，并且都开启mysql的服务修改主数据库配置文件vim /etc/my.cnf （MySQL配置文件，ubuntu默认是/etc/mysql/my.cnf）[mysqld]下添加server-id = 数字 （1-254其中之一，如集群内已有的数字不可重复）log-bin = master-bin ...
2019-11-08 17:13:11
436
原创 mysql备份迁移
1、mysql的安装使用apt-get直接安装的 ： sudo apt-get install mysql-server sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev2、配置mysql管理员密码sudo mysqladmin -u root 当前密码 新密码3、查看mysql...
2019-11-08 17:06:33
263
原创 ubuntu1604安装mysql
安装mysql非常简单只需要几条命令就可以完成。 1. sudo apt-get install mysql-server2. sudo apt-get install mysql-client3. sudo apt-get install libmysqlclient-dev安装过程中会提示设置密码什么的，注意设置了不要忘了，安装完成之后可以使用如下命令来检查是否安装成功：sudo...
2019-11-08 11:32:30
344
转载 ubuntu下，ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)的解决方案
ubuntu下，ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: NO)的解决方案环境：ubuntu 18.041.命令行输入：sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf在[mysqld]后面任意一行添加“skip-grant-tables”用...
2019-11-04 15:21:18
846
转载 Nginx配置WebSocket
map $http_upgrade $connection_upgrade { default upgrade; '' close; } upstream wsbackend{ server ip1:port1; server ip2:port2; keepalive 1000; } server { listen 20038; location /{ ...
2019-10-22 16:42:58
319
原创 跨域问题
使用vue访问springboot java后台api时候，出现错误：已拦截跨源请求：同源策略禁止读取位于 https://xxxxi/xxx/xx/xxxi/adxx 的远程资源。（原因：CORS 头缺少 'Access-Control-Allow-Origin'）。已拦截跨源请求：同源策略禁止读取位于https://xxxxi/xxx/xx/xxxi/adxx 的远程资源。（原因：COR...
2019-10-21 16:06:21
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人