BAStriver的博客

最近在写论文，遇到不少Word使用的问题(网上其实也有很多解决方案但我当时还是折腾了几个小时才整出来图目录，以下是针对我目前使用的感觉简明很多的方法。

关于Mysql的索引、事务、锁机制和MVCC的理解和总结。

MySQL 单表数据达到多少时才需要考虑分库分表？有人说 2000 万行，也有人说 500 万行。那么，这个数值多少才合适呢？这个数值和实际记录的条数无关，而与 MySQL 的配置以及机器的硬件有关。因为，MySQL 为了提高性能，会将表的索引装载到内存中，在InnoDB buffer size 足够的情况下，其能完成全加载进内存，查询不会有问题。但是，当单表数据库到达某个量级的上限时，导致内存无法存储其索引，使得之后的 SQL 查询会产生磁盘 IO，从而导致性能下降。

目录1.Springcloud Bus概述2. RabbitMQ配置3.Springcloud Bus动态刷新3.1全局广播3.1.1 设计思想3.1.2 配置消息总线3.1.3 配置更新测试。3.2定点通知1.Springcloud Bus概述Spring Cloud Bus links the nodes of a distributed system with a lightweight message broker. This brok...

目录1. Avsc和Avro的关系2. Avsc生成Java类3. 根据Java类生成Avro格式的测试数据3.1 Avsc的schema types3.2 Complex type的使用3.3 生成测试数据1. Avsc和Avro的关系AVSCfile is anApache AvroSchema. Avro is a remote procedure call and data serialization framework developed within...

1. 因为本地安装了postsgres，所以以下的总结是关于在本机Windows环境下如何数据备份和恢复。2. 相应地，数据备份使用到的是pg_dump命令，数据恢复使用到的是psql。在postsgres安装目录的bin文件夹下，有这两个工具，所以cmd打开命令行窗口后cd到这个目录下然后输入pg_dump，或者直接在文件夹窗口shift+右键打开cmd，如图。3. 创建一个test表，并插入十条数据。-- createCREATE TABLE test ( id int4 NOT

1. 对于大文件，很多时候我们是不能直接通过普通的读文件解析的。这篇文章主要是总结下解析xml大文件的思路和代码。2. 主要思路，其实就是通过封装一个切割文件的工具类，每次读取部分文件内容，比如10M。那么这里面涉及到的前后内容拼接就是重中之重了...

1. 首先，先了解下JsonSchema吧。2. 因为最近需要快速地将json schema转成建表语句，所以以下整理总结了一个比较方便的工具类。1) 先假设我们有一个这样的json schema文件：{ "$schema": "http://json-schema.org/draft-04/schema#", "title": "Commodities.Forward.Fo...

1. 首先，先说下jquery-ui的官网：jqueryui 官网Api2.这里主要是想记录下datepicker如何禁用周末。这里有写高级的设置教程：动态设置休息日3.最近需要做的一个事情是把周末在日期表里面标出来，那么，刚还datepicker内置了一个方法可以方便我们禁选weekend。$( "#datepicker" ).datepicker({ beforeShow...

1. 首先，因为EC2上面需要安装到Codedeploy服务，可以参考这里：AWS Codedeploy安装与使用文档 从文档可以知道，我们Codedeploy会帮我们发布应用到指定的EC2并且在发布前后都可以执行一些自定义的操作。详细见下面。AWS CodeDeploy涉及到很多东西，以下是对于AWS 的几个工具的一些使用小结。2. 假设有一台EC2 Name (Tag)为 aws...

1. 通常我们使用Maven来打包Jar包，当我们需要打包成Zip包的时候就需要用到maven-assembly-plugin插件了。 通过这个插件，不仅可以将源码打包，也能选择将一些特殊文件也打包进去，比如Build生成的Jar包。<plugin> <artifactId>maven-assembly-plugin</artifactId&gt...

1. 首先，这里使用到的是Jenkins job的流水线，语法可以参考：Jenkins 术语表2. 那么，我们为什么要打包称zip包。 因为当我们需要用到AWS的Codedeploy 服务的时候，就需要先把我们应用的源码打包成zip上传到S3。通过Jenkins的话可以很方便的一键打包所有东西到一个zip里面，并且通过yml文件来执行一些自动化部署的操作。Maven打包Zip(包含j...

1. 首先，关于AWS ALB的说明文档，关于Route53的说明文档。2.Alb是个负载均衡器。如图，相对应的还有一个target groups。Alb通过listener的监听端口或者url来重定向到另一个listener或者target groups。同一个Alb可以有多个target groups，同一个target groups可以指向多台EC2。3.Route53则...

1.首先，官网文档在这：Airflow Documentation。2.然后，记录一下我觉得写得很不错的几篇关于Airflow的文章。1)AirFlow简介2)AirFlow使用第一个DAG示例3)浅谈调度工具——Airflow3.关于如何安装，还没试过所以就不总结这个了，而对于Airflow的概念介绍也在上面几篇文章可以详细了解到。一下才是我主要想总结的一些使用的注意事...

1.前提：我们需要知道 Jenkins、SonarQube、JaCoCo和Junit。2.至于如何集成它们，可以参考：Jenkins集成SonarQube、JaCoCo、Junit使用问题汇总3.我这里主要是记录两个问题：Jenkins GC limit exceed 、覆盖率报告jacoco.exec不能同步到sonar。4.为什么Jenkins会内存溢出。原因是运行完所有单元测试后...

1.首先，要先装好了Mysql2.下载源码：xxl-job 源码3.初始化调度中心数据库(16张表)mysql中执行脚本：xxl-job-admin\resources\tables_xxl_job.sql4.配置调度中心：修改xxl-job-admin的mysql连接字符串，xxl-job-admin\resources\xxl-job-admin.properties...

1.首先，先来了解下什么是MQ吧，IBM MQ原理和使用场景2.下载MQ，官网下载地址，我这里使用的是7.5版本。3.安装详细步骤参考：https://blog.csdn.net/chqlee1990/article/details/27526859以下的代码环境就是参考了上面这个链接的教程，初次配置MQ队列最好完全和教程一致吧。 值得注意的是，新建服务器连接通道而不是服务器...

1.文档的操作基本分为：查询、删除、更新、插入。 这些操作都可以进行批量进行，包括：批量处理器执行、批量执行、查询时执行删除。2.假设当前ES存在如下数据(两条)。3.批量操作源码如下：package com.bas.demo;import com.bas.util.ESUtil;import org.elasticsearch.action.bulk.*;impo...

1.通过这篇文章来讲讲如何进行全量查询。2.假设当前ES存在如下数据(两条)。3.全量查询源码如下：package com.bas.demo;import com.bas.util.ESUtil;import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.client.tr...

1.首先，先来了解下Datax是做什么的吧：https://github.com/alibaba/DataX/blob/master/introduction.md2.Datax下载链接(Windows也可以使用)：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz3.正如教程讲的，使用Datax之前要先安装J...

1.首先，Kettle7.1下载li链接：https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download2.打开这个文件：Spoon.bat3.假设就这三个步骤：4.其中组件“Java代码”的内容如下：import java.text...

1.使用6.6.2版本的ES前，首先来安装ES吧，Win10下安装教程参考：https://blog.csdn.net/chy2z/article/details/804615032.接着，就是通过Java来连接ES了。首先要知道分为两种Java Rest客户端：低级客户端、高级客户端。低级客户端：该客户端通过http来连接Elasticsearch集群。用户在使用该客户端时需要将请求...

1.首先，接下来的查询demo里面包含了10常用的方法：term查询、terms查询、range查询、exists查询、prefix查询、wildcard查询、regexp查询、fuzzy查询、type查询、ids查询。2.以下是封装了10个常用方法的QueryUtil：package com.bas.util;import org.elasticsearch.action.sear...

1.前提：假设ES、JDK、Idea以及Maven都安装成功。2.创建Maven快速启动项目。选择项目类型：3.输入基础包名、项目名称：4.选择Maven安装路径：5.选择项目路径：6.选择构建项目：7.构建完成大概需要几分钟啦，然后呢，修改pom.xml添加ES依赖包：<dependencies> <!-- https...

1.如果需要查看如何创建Maven项目，可以看这里：ES6.6.2 使用小结 - 创建Maven项目2.先在ES(安装了head插件)创建一个Index吧，如果是单机部署ES，副本数记得写0，不然健康值会是黄色，假设这里索引名是"app_account"。3.承接上一篇文章，这里首先是在com.bas下创建demo包，以下是完整代码：package com.bas.demo;...

1.以下是封装了ES常用的基本方法，可以用来做一些简单的测试。 如：获取ES的TransportClient/IndicesAdminClient、判定索引是否存在、创建索引、设置mapping、删除索引、插入文档。package com.bas.util;import org.elasticsearch.action.admin.indices.create.CreateInde...

1.文档基本操作分为：文档获取、删除、更新。以下是一些简单的测试。2.假设当前ES存在如下数据(两条)。3.文档操作源码如下：package com.bas.demo;import com.bas.util.ESUtil;import org.elasticsearch.action.get.GetResponse;import org.elasticsearch.cli...

1.首先，附上下载链接：https://www.postgresql.org/download/windows/2.基本的安装参考：https://blog.csdn.net/eagle51/article/details/75208054注：1.想总结一下遇到的问题是，安装时要注意的是：选择语言locale的时候应该选择"C"，否则会显示安装失败的。2.另外，如果还是不能成功安装...

1.首先，本地需要安装好JDK并配置完成环境变量。2.Xml转化成Xsd过程，使用的是trang.jar。 下载链接：http://central.maven.org/maven2/org/relaxng/trang/20181222/trang-20181222.jar CMD当前目录输入：java -jar .\trang-20181222.jar -I xml -O x...