fxtxz2的专栏

原创 mysql命令行手动导入csv数据到指定表

主要就是通过cli访问数据库的时候，要给本地文件访问权限。虽然，命令行这种方式，没有图形界面操作方便，但是，胜在内网本地文件导入数据库比较快。

原创 强制退出MySQL CLI

终止 MySQL 命令行会话。

原创 在AWS Athena中使用regexp_extract函数对某个json字段进行正则取数

关键就是了解regexp_extract函数的使用。

原创 在AWS Athena中使用json_extract_scalar函数对某个json字段进行过滤和分组统计

在Athena数据库中，使用json_extract_scalar函数对某个json字段进行过滤和分组统计。

原创 AWS中国云中的ETL之从aurora搬数据到s3（Glue版——修复版）

之前这个方式，在数据比较大的情况下，会出现对mysql全表扫描问题。

原创 FileZilla Pro根据上传文件后缀设置content-type类型

原创 使用FileZilla Pro上传文件到s3中

原创 在线修改s3文件类型

上传文件到s3后，元数据中的content-type变了，需要使用aws cli命令手动修改。

原创 git中移除.DS_Store文件夹和相关文件

git库中需要移除.DS_Store文件夹和相关文件。

原创 集成shardingsphere时，出现健康检查错误：sql.SQLFeatureNotSupportedException: isValid

*** 手动注册 dbHealthContributor，避免使用默认的（会调用 isValid）*/@Bean// 强制指定 validationQuery，绕过 isValid()// 根据你的数据库调整（MySQL/PostgreSQL 用这个）

原创 shardingsphere mybatis-plus druid Property ‘sqlSessionFactory or ‘sqlSessionTemplate‘ are required问题

这样就可以使用shardingsphere库，实现读写分离。

原创 AWS EB中添加自定义指标——内存使用率

【代码】AWS EB中添加自定义指标——内存使用率。

原创 使用lombok builder注解，默认值不生效问题

如果使用Builder方式构建对象，这个默认值可能会不生效。

原创 spring boot restTemplate 中不支持 content type [text/plain]响应头问题

最近在Springboot中使用restTemplate调用微信小程序相关接口中，出现了如下异常：微信相关接口响应头content type为text/plain，但实际内容是json，导致Spring Boot中的restTemplate客户端默认不支持这种响应头。自定义个支持text/plain的消息转化类给RestTemplate客户端即可。

原创 Java中LocalDate转Date

【代码】Java中LocalDate转Date。

原创 Java中BufferedImage转byte[]字节数组

【代码】Java中BufferedImage转byte[]字节数组。

原创 Spring中的异步任务（CompletableFuture版）

CompletableFuture的回调方式，大大简化了Spring异步任务处理实现。

原创 AWS Elastic Beanstalk中安装tesseract5.3.4版本

这就是eb安装tesseract库和设置时区的过程。执行是按照文件名执行顺序。如果在java中使用Tess4J库通过jni方式调用tesseract，需要注意Tess4J库版本号与tesseract库版本号对应。

原创 在amazon linux 2023上面通过Fedora 36软件仓库源安装tesseract5

由于amazon linux 2023上面不能使用EPEL软件仓库源，所以，只能手动添加Fedora 36软件仓库源来安装tesseract。

原创 在amazon linux 2023上面源码手动安装tesseract5.5.1

因为amazon linux 2023自带的源没有tesseract5库，所以需要在amazon linux 2023上面手动源码安装tesseract5.5.1。

原创 SpringBoot中使用tess4j进行OCR（在macos上面开发）

最近需要做OCR的实现，需要在Spring Boot工程中引入tess4j库，进行OCR识别。然后，这里使用macos m1进行开发。出现了找不到动态链接库的问题。

原创 AWS OpenSearch（ES）启用慢速日志

最近有个搜索请求超过了29秒，想要排查一下这个问题。

原创 手动刷新Spring Actuator配置

【代码】手动刷新Spring Actuator配置。

原创 给aws xray添加采样规则

新增规则不会改变 Default，它仍然是 FixedRate=0.05、ReservoirSize=1。只有命中 /prod/* 的请求才会按 10% 采样。

原创 Spring Retry重试库简单使用

这里其实没有找出抛出SocketException具体原因，但是，重试可以解决问题。这里就这么粗暴的重试解决了这个问题。Spring Retry还是很简单的。

原创 curl指定TLS版本方法

【代码】curl指定TLS版本方法。

原创 AWS的日志组中自定义指标告警

先找到日志组，如下图：开始创建指标筛选条件，如下图：。如下图：这里的内容就是当api gateway返回5xx的响应，就会被这个指标记录。点击下一步，开始设置指标基础设置，如下图：下一步，进入审计页面，没问题就创建指标筛选条件。到这里就完成对api gateway日志的指标告警监控了。订阅邮件确认后，当api gateway响应5xx的时候，5分钟内就会推送邮件过来。

原创 AWS API Gateway通过vpclink代理NLB服务出现504问题

AWS ELB这个默认值，还是有点坑的，估计启用这个跨区域负载均衡需要不少成本。能开AWS技术支持，尽早开AWS技术支持，不然，真等到发生生产事故，就有点费时间了。与生产事故带来的损失相比，省那点AWS技术支持费用，根本不值得。

原创 在vscode中全选后，同时在每行行尾，开始多行编辑（Mac版）

在Mac上面使用vscode，需要把选中的行，在每行行尾开始多行编辑。

原创 Java17中获取现在时间

【代码】Java17中获取现在时间。

原创 AWS Glue中查询一个月的数据条数

【代码】AWS Glue中查询一个月的数据条数。

原创 Java8中一行代码转换图片地址为base64字符串

【代码】Java8中一行代码转换图片地址为base64字符串。

原创 Spring中Date日期序列化与反序列化中格式设置

【代码】Spring中Date日期序列化与反序列化中格式设置。

原创 从《AI大模型微调实战营》课程中习得的大模型常见任务hello，world版

以后可以利用hugging face 的transformers的api，轻松调用开源大模型了。这位极客时间的老师讲得是真的好。

原创 AWS中的离线计算（大数据大屏项目）

这里主要是通过Glue ETL Job将普通业务库（MySQL）里面的表数据，每日定时任务写入前天的数据到s3（保存为Hadoop的格式为parquet），然后，使用爬虫Crawler定时从S3桶中爬数据，爬到Glue的数据库和表中，即Glue Data Catalog，然后，使用Athena进行查业务聚合查询，结果保存到s3桶中，并使用QuickSight呈现为大屏。这就是AWS最简单的大数据离线计算大屏项目了。

原创 从AWS日志组中提取数据

最近需要从生产日志中提取数据。这里我们使用的是AWS中CloudWatch的Logs Insights针对一个日志组进行查询过滤即可。

原创 AWS中国云中的ETL之从aurora搬数据到s3（Glue版）

这里的AWS Glue任务，其实就是Spark+Hadoop完成了从MySQL到HDFS的数据写入。Spark在大数据的生态是真的强。这里比较难以理解的就是在Hadoop中的partition设计，具体数据分区远离，我借用了AWS文档里面图了，如下图：这种按年月日，在这个领域，还是比较常见的。到这里就是AWS ETL的简单搬运任务了。

原创 在mac上面使用parquet-cli查看parquet文件

需要在mac上面简单查看parquet文件，parquet格式是hadoop生态的文件格式。也就是说，这个是大数据这块领域的基础文件格式之一。

原创 Spring中使用Apache Http客户端调第三方系统接口临时查看请求体参数

通过Spring的日志级别参数，将http相关包的日志级别从INFO改成DEBUG，即可查看详细的请求体参数。

原创 AWS中国云中的调用链监控（EC2版）

现在有个SpringBoot项目部署在AWS中国云，需要进行性能测试。要进行性能测试势必要对服务与服务之间的调用链进行监控，这里就需要部署AWS云的调用链监控来监控请求调用链状况了。