自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BAStriver的博客

无限自由中偏爱的一种约束,就是梦想。

原创 关于Postsgres的数据备份与恢复 小结

1. 因为本地安装了postsgres,所以以下的总结是关于在本机Windows环境下如何数据备份和恢复。2. 相应地,数据备份使用到的是pg_dump命令,数据恢复使用到的是psql。在postsgres安装目录的bin文件夹下,有这两个工具,所以cmd打开命令行窗口后cd到这个目录下然后输入pg_dump,或者直接在文件夹窗口shift+右键打开cmd,如图。3. 创建一个test表,并插入十条数据。-- createCREATE TABLE test ( id int4 NOT

2020-07-24 15:34:03 32

原创 CloudWatch Events触发Lambda修改RDS instance type 小结
原力计划

1. 在实现之前,先了解下RDS都有哪些实例类型吧。2. 和我的另一篇修改EC2实例类型的文章一样,如果还没有具备本地开发Lambda的环境,先看看我的这篇文章吧。 通过上面的小结,你已经具备了Lambda的开发环境。3. 在实现CloudWatch Events触发Lambda之前,首先先讲讲如何通过Lambda修改RDS实例类型吧。查了下资料,官网只有简短的接口介绍,主要使用的是ModifyDbInstanceRequest,而其中的详细参数列表可以参考:Request Paramet.

2020-06-20 15:44:51 131

原创 关于使用Lambda修改EC2 instance type 小结
原力计划

1. 关于Lambda的基础使用可以参考我的前几篇文章的小结。 通过上面的小结,你已经具备了Lambda的开发环境。2. 查了下资料,官网只有简短的接口介绍,主要使用的是ModifyInstanceAttributeRequest,而其中的详细参数列表可以参考:Request Parameters。官方提供了两个版本的SDK,下载源码后可以很方便地找到example,但是很遗憾这里要用到的修改实例的例子并没有出现,所以根据S3和Athena这些Demo的使用,作出了以下测试总结。(以下是以Ja.

2020-06-17 15:43:19 90

原创 基于PowerMockito的静态方法的多种mock测试方式 小结
原力计划

1. 在使用PowerMockito之前,首先要了解到Mockito这个测试工具,因为PowerMockito就是基于Mockito增强了一些功能,比如静态方法的测试。这里的可以参考:基于Mockito的多层模拟单元测试 小结2. 网上有很多PowerMockito mock静态方法的总结,以下主要是针对这几天使用过程中遇到的各种问题,从mock公共静态方法、私有方法两个方面进行总结。3. 首先先是PowerMockito的pom.xml的依赖。<properties> <

2020-06-17 14:11:55 292

原创 Aws 认证的相关总结

1.AWS认证:云计算领域2.Aws培训资源,Aws学习库3.AWS认证备考心得

2020-06-13 12:11:37 185

转载 Springboot中如何配置多个数据源 小结

1. 最近有这样一个需求,项目中涉及到了两种数据库,分别是:Postsgres和Sqlserver。每次从Postsgres中取1w条数据然后通过Mybatis调用存储过程写入到Sqlserver,所以在这个流程中,我们需要使用到两个数据源,并且在数据轮询中不断地进行切换。如图是两种解决方案: 以下,以第二种方式总结,部分参考:SpringBoot之多数据源动态切换数据源。3. 假设数据源1是默认的数据源,两者都包含有User表,那么,首先配置properties。spring...

2020-06-12 16:44:24 87

原创 Maven中添加本地包并且打包到jar

1. 由于最近使用到了sqljdbc4这个依赖包,但是收到限制,并不能从仓库中下载这个包,所以需要手动下载好这个jar然后在pom.xml中引入本地的jar。2. 接着,jar包以scope为system的方式导入pom文件,假设当前module结构如图:如下,引入dependency。<dependency> <groupId>com.microsoft.sqlserver</groupId> <artifactId>sqljdbc4&

2020-06-10 19:54:43 103

原创 关于Springboot中使用PageHelper插件 小结

1. 通过mybatis查询数据的时候,如果数据量太大而又觉得手动去分页太麻烦,那么就可以使用PageHelper插件,在现有的springboot项目中只需要几步简单的配置就能得到想要的结果。2. 首先在pom.xml引入依赖。<dependency> <groupId>com.github.pagehelper</groupId> <artifactId>pagehelper-spring-boot-starter</artifactI

2020-06-10 17:55:59 57

原创 关于CloudFront的使用 小结

1. 这篇文章主要是记录如何配置CloudFront将S3的静态和动态 Web 内容(如 .html、.css、.js 和图像文件)缓存到Edge Locations。详细的CloudFront介绍可以参考官方文档。2. 假设我们有一个名为“bastriver”的bucket,testCloudFront下有两张图片,如图:3. 首先是进入AWS Console CloudFront的界面,如图:1) 在CloudFront创建Distribution的界面设置Origin Domain

2020-05-23 23:22:41 154

原创 关于AWS IAM Role如何配置临时token访问S3 小结

1. 这篇文章主要是想记录一下如何通过token本地访问、测试S3而不是直接使用IAM User的Access keys。简而言之就是通过StsClient assumeRole获取临时的credentials然后生成S3Client。详细的IAM, STS相关的官网文档可以参考这里。2. 第一步先在这里创建一个IAM User。1) 输入UserName,并且编程接口,然后下一步直接Next不赋予权限,Tag可以忽略。2) Review界面如图:3. 然后创建IAM Role.

2020-05-18 23:20:42 349

原创 关于AWS Lambda的使用 小结
原力计划

首先我们先通过官网简单了解下lambda这个serverless的云服务吧。通过了解官方文档,假设我们使用的是Java开发Function,那么首先需要先部署环境。由于工作上用了Intellij,所以这次分享就以Eclipse为IDE吧。具体可以参考详细文档。Eclipse安装插件,输入:https://aws.amazon.com/eclipse 配置Credenti...

2020-04-18 23:25:10 184

原创 关于Xml大文件的解析 小结

1. 对于大文件,很多时候我们是不能直接通过普通的读文件解析的。这篇文章主要是总结下解析xml大文件的思路和代码。2. 主要思路,其实就是通过封装一个切割文件的工具类,每次读取部分文件内容,比如10M。那么这里面涉及到的前后内容拼接就是重中之重了...

2020-02-28 18:12:19 129

原创 关于JsonSchema转成Postgres sql ddl的小结

1. 首先,先了解下JsonSchema吧。2. 因为最近需要快速地将json schema转成建表语句,所以以下整理总结了一个比较方便的工具类。1) 先假设我们有一个这样的json schema文件:{ "$schema": "http://json-schema.org/draft-04/schema#", "title": "Commodities.Forward.Fo...

2020-02-25 17:03:24 135

原创 Linux服务器重启后自动执行命令的两种方式

1. 修改/etc/rc.d/rc.local 或者 /etc/rc.local 。sudo vi /etc/rc.d/rc.local然后进入了如图界面,输入 i 。在最后一行加入reboot后要自动执行的脚本。保存后,再执行修改权限的命令就可以了。sudo chmod +x /etc/rc.d/rc.local2. 修改crontab文件。在用户目录下...

2020-01-21 17:09:18 324

原创 关于XStream的使用小结

1. 关于XStream的官网介绍。2. 假设我们有如下结构的XSD,那么,当我们想要解析这种结构的XML文件取得数据的话,就可以使用XStream了。这个查看XSD结构的工具是:Altova XMLSpy。使用这个工具之前,我们需要先生成好图片里所有节点的XmlBean,而且每个XmlBean都有嵌套、集合的关系,这些概念可以参考:XStream简介。3. pom.xml加入...

2020-01-21 16:43:16 160

原创 AWS S3文件/文件夹删除

1. 关于AWS S3的使用相关知识总结可以参考:AWS S3 学习小结。2. 以下主要是想总结一下关于S3文件、文件夹如何删除,示例版本是源码里面的java2。注:要知道,S3不存在子文件夹的概念,而是所有文件都在根目录。假设有/home/files/如下的文件结构:并且,有这样一个工具类。package com.bas.util;import org.apache...

2020-01-16 10:16:00 1140

原创 关于Athena使用的小结

1. 官网Api文档只有英文版的,PDF格式的在Amazon Athena Documentation PDF版,网页版的在Amazon Athena Documentation网页版。2.官方提供了两个版本的,下载源码后可以很方便地找到example,至少大部分是可以的。3. 在使用Athena的java api之前,首先我们需要在Athena控制台创建Database,里面的创建有操...

2019-12-27 18:49:01 609

原创 关于Springboot的@Service注入的方式

1. 最近在写代码过程中发现Service注入的方式原来有这么多种的,所以记录一下这些方式。2. 最常用的就是这种直接用@AutoWire的方式了:@Servicepublic class TestServiceImp implements TestService { //}@RestControllerpublic class TestController { ...

2019-12-23 18:20:47 973

原创 关于Springboot的一些注解的使用小结

1.@ControllerAdvice可对controller中被 @RequestMapping注解的方法加一些逻辑处理,一般是配合@ExceptionHandler来全局捕获异常。1) 假设我们有TestController:package com.bas.controller;import com.bas.service.*;import org.springframew...

2019-12-05 17:53:33 44

原创 关于应用程序中使用STS切换IAM角色

1. 用过Aws的都知道,上面的各种服务都是有严格的权限控制的,即使是同一账号也会有不同的角色,类似于IAM 用户。对于IAM角色可以参考:IAM角色。但是要注意,一次只有一组权限处于活动状态。在担任某个角色时,将临时放弃以前的用户或角色权限并使用为该角色分配的权限。2. 假设现在有这样一个需求,我们的应用程序中使用了javav2的s3客户端,但部署的服务器上的默认角色并没有访问某个buck...

2019-11-27 17:20:32 273

原创 结合使用Springboot JMS 与 Amazon SQS 标准队列

1. 首先,来了解下JMS的一些概念,AWS官网例子。关于SQS的使用总结可以参考:https://blog.csdn.net/BAStriver/article/details/1032622762. 假设我们已经创建好一个springboot项目。那么,以下是个很简单的入门使用总结。1) 先引入最新的依赖包:<dependency> <groupId>o...

2019-11-26 18:33:59 546

原创 关于Aws SQS的使用 小结

1. 首先,需要简单了解下关于SQS的官方介绍。2. 官方提供了两个版本的,下载源码后可以很方便地找到example,至少大部分是可以的。3. 以下是总结使用javav2版本的SQS使用,AWS官网例子也有介绍。1) 首先导入依赖:<dependency> <groupId>software.amazon.awssdk</groupId> ...

2019-11-26 18:32:28 739

原创 关于AWS Alb和Route53的使用 小结

1. 首先,关于AWS ALB的说明文档,关于Route53的说明文档。2.Alb是个负载均衡器。如图,相对应的还有一个target groups。Alb通过listener的监听端口或者url来重定向到另一个listener或者target groups。同一个Alb可以有多个target groups,同一个target groups可以指向多台EC2。3.Route53则...

2019-10-08 18:19:32 1032

原创 Linux的find命令查询多级目录下的某一类文件

1. 假设有这样一个目录/data,子目录下有 a , b , c ... 每个子目录a , b , c 都有 format=txt/version=1/data_date=2019-09-23 和 format=txt/version=1/data_date=2019-09-24,这些目录下面有zip和txt.zip两种文件。 我们需要取出format/txt/data_date=20...

2019-10-04 19:12:44 814

原创 关于Jenkins的Codedeploy 小结

1. 首先,这里使用到的是Jenkins job的流水线,语法可以参考:Jenkins 术语表2. 那么,我们为什么要打包称zip包。 因为当我们需要用到AWS的Codedeploy 服务的时候,就需要先把我们应用的源码打包成zip上传到S3。通过Jenkins的话可以很方便的一键打包所有东西到一个zip里面,并且通过yml文件来执行一些自动化部署的操作。Maven打包Zip(包含j...

2019-09-19 18:46:16 431

原创 关于Maven如何打Zip包

1. 通常我们使用Maven来打包Jar包,当我们需要打包成Zip包的时候就需要用到maven-assembly-plugin插件了。 通过这个插件,不仅可以将源码打包,也能选择将一些特殊文件也打包进去,比如Build生成的Jar包。<plugin> <artifactId>maven-assembly-plugin</artifactId&gt...

2019-09-18 18:44:16 566

原创 关于AWS Codedeploy的使用 小结

1. 首先,因为EC2上面需要安装到Codedeploy服务,可以参考这里:AWS Codedeploy安装与使用文档 从文档可以知道,我们Codedeploy会帮我们发布应用到指定的EC2并且在发布前后都可以执行一些自定义的操作。详细见下面。AWS CodeDeploy涉及到很多东西,以下是对于AWS 的几个工具的一些使用小结。2. 假设有一台EC2 Name (Tag)为 aws...

2019-09-17 18:39:26 559

转载 GET/POST请求 url含有特殊字符

1. 首先,推荐一款很方便的软件Postman。2. 当我们需要在Linux命令行中发出GET请求的话,可以这样:http://localhost:8080/test/parse?type=init\&endTime=2020-08-20T23:59:59%2B00:00其中的&,需要在前面加上 \ 不然处理不到endTime这个参数的。%2B 指的是 +...

2019-08-23 15:20:25 508

转载 Java Map使用小结

1. Map的merge使用场景:假设当前有个List<bean> dataList,Map<String, List<bean>> dataMap 。然后我们需要根据将dataList的每个bean根据一定的规则合并到dataMap里面的某个list里面,这个时候使用merge就很方便了。dataList.forEach(bean -> ...

2019-08-16 19:24:59 52

原创 关于springboot打包成jar后上传资源显示问题的总结

1. 很多时候为了方便我们都是直接打包成jar直接部署会方便很多,那么,在这个时候当我们上传资源的话不可能把它们存到jar里面去的,也就是说前端显示需要做一下改动才可以处理这个情况。如何做到不改动现有的代码并且和我们本地编译器开发过程中那样直接上传完就可以显示资源呢?以下有两种方式可以实现。2. 方法一:在WebMvcConfigurer中注册资源路径:import org.spring...

2019-08-03 14:08:15 189

原创 关于GZIPOutputStream的一些使用总结

1. 首先,网上很多教程有写怎么使用java内置的gzip工具类,这里就不多少了,主要是想说一下,当我们压缩生成gz文件的时候,如果要保留原始文件的后缀,比如a.xml压缩成a.xml.gz 那么,我们在生成压缩包指定文件名的时候把这个.xml加上。Gzip工具类:package com.util;import java.io.*;import java.util.zip.GZIP...

2019-08-02 19:14:35 1409

原创 java实时获取汇率

1.分享三个觉得挺不错的汇率api:1) 每小时免费50次查询配额:NOWapi2) 0.1元2000次/年:阿里云 汇率api3) 每天免费100次查询配额(需要实名认证):聚合科技如果只是针对很少外币获取汇率的话,个人推荐去阿里云购买,毕竟1元不到就可以查询非常多次了。2.以下的总结以通过阿里云的汇率api获取实时汇率为准。3.首先,这个是汇率Api使用文档。4....

2019-07-27 20:24:15 1837

原创 关于jquery-ui的datepicker使用

1. 首先,先说下jquery-ui的官网:jqueryui 官网Api2.这里主要是想记录下datepicker如何禁用周末。这里有写高级的设置教程:动态设置休息日3.最近需要做的一个事情是把周末在日期表里面标出来,那么,刚还datepicker内置了一个方法可以方便我们禁选weekend。$( "#datepicker" ).datepicker({ beforeShow...

2019-07-27 14:29:33 69

原创 关于Airflow的一些使用小结

1.首先,官网文档在这:Airflow Documentation。2.然后,记录一下我觉得写得很不错的几篇关于Airflow的文章。1)AirFlow简介2)AirFlow使用第一个DAG示例3)浅谈调度工具——Airflow3.关于如何安装,还没试过所以就不总结这个了,而对于Airflow的概念介绍也在上面几篇文章可以详细了解到。一下才是我主要想总结的一些使用的注意事...

2019-07-24 15:42:52 504

原创 覆盖率报告同步到Sonar中遇到的问题 小结

1.前提:我们需要知道 Jenkins、SonarQube、JaCoCo和Junit。2.至于如何集成它们,可以参考:Jenkins集成SonarQube、JaCoCo、Junit使用问题汇总3.我这里主要是记录两个问题:Jenkins GC limit exceed 、覆盖率报告jacoco.exec不能同步到sonar。4.为什么Jenkins会内存溢出。原因是运行完所有单元测试后...

2019-06-06 18:01:36 908

转载 基于Mockito的多层模拟单元测试 小结

1.首先,我们先来了解下Mock是个什么东西吧。Mockito教程2.基本上一些简单unit-test的mock用法可以参照上面那个教程了。我要总结的主要是分为两个方面:1) 通过Mock来访问Controller;参考:基于RESTful风格的SpringMVC的测试,Testing Spring MVC Controllers2) 通过Mock来访问Controller,并...

2019-05-23 17:40:57 476

转载 Java统计Xml节点数量

1.首先,统计方式分为两种,一个是通过java内置的xpath统计,另一个是通过StAX统计2.xpath统计1) 很遗憾的是,这种方式如果xml文件比较大的话会导致内存溢出。import javax.xml.stream.XMLInputFactory;import javax.xml.stream.XMLStreamException;import javax.xml.str...

2019-05-09 18:31:35 689

原创 Java解压Zip文件 小结

1.首先,列举以下会提及到的三种解压方式:操作7z.exe解压、使用ant-1.9.6.jar解压、使用zip4j-1.3.2.jar解压。2.第一种:java操作7z.exe解压文件,其实就是通过java内置的类来输入命令操作exe,相关的7z.exe命令详解1) 打开上面的7z.exe下载链接,打开可以看到7za.exe, 7zxa.dll,copy到项目的tool文件夹下;...

2019-05-02 18:24:16 112

原创 AWS S3 学习小结

1.首先,这个是AWS的开发资源使用文档:AWS开发文档,AWS官网 - S3教程​​​​​​​2.我们可以通过AWS Cli和Java Api来操作AWS 的 S3,AWS Cli安装教程:AWS Cli安装3.Linux下连接S3前,需要先获取到AWS的IAM的accessKey 和secretKey,那么获取方式是:服务->安全、身份与合规 分组下的 IAM->用户...

2019-04-30 19:35:39 2404

原创 XMl转化成Java Bean小结

1.首先,本地需要安装好JDK并配置完成环境变量。2.Xml转化成Xsd过程,使用的是trang.jar。 下载链接:http://central.maven.org/maven2/org/relaxng/trang/20181222/trang-20181222.jar CMD当前目录输入:java -jar .\trang-20181222.jar -I xml -O x...

2019-04-17 18:33:18 410

提示
确定要删除当前文章?
取消 删除