- 博客(30)
- 收藏
- 关注
RSS订阅原创 hive 集群部署
从中我们可以看出第二个异常是 google Guava 库中的一个类不存在导致，笔者这边看了 hive 依赖的是 guava-19.0.jar，而 guava-27.0-jre.jar，二者的版本差异很大，笔者这边选择 去掉 hive 的依赖，将 hadoop 的依赖拷贝的 hive 的 lib 目录。hadoop 依赖包的位置：/opt/module/hadoop/share/hadoop/common/lib。hive 依赖包的位置：/opt/module/hive/lib。
2024-04-07 17:52:57
786
原创 docker 安装 nacos 2.2.x 版本，实现 springboot 项目连接
这里需要注意数据卷中，第一个文件是覆盖容器内的配置文件，我们可以在这个文件里配置自己想要的配置，具体参考下方。
2024-03-27 16:34:13
529
1
原创 flink 集群部署
但是，该模式下，如果集群中的一个作业行为不正常或导致 TaskManager 宕机，则在该 TaskManager 上运行的所有作业都将受到故障的影响。该模式下，集群管理框架 YARN 会为每个提交的作业启动一个单独Flink集群，该集群仅对该作业可用。Application 模式为每个提交的作业创建一个集群，但作业的main 方法将在 JobManager 上执行，以节省提取 job graph 所需的 CPU 周期，也节省客户端下载依赖及将 job graph 及其依赖关系传送到群集所需的带宽。
2023-11-15 16:29:13
587
原创 java 雪花算法，同时解决超过前端 js 数字上限的问题
雪花算法最终得到一个 long 类型的 64 位数字雪花算法的组成部分：符号位（1） + 时间戳（41） + 数据编码（5）+ 机器编码（5）+ 序列号（12）理论上当 机器编码 和 数据编码 不变的情况下可以生成：0 - 2^53 个 ID， 千万亿级别。
2023-07-27 15:35:21
353
原创 centos7 下 kafka 的 kraft 模式简易安装
上传到 linux 服务器的 /opt/software 目录下ps：/opt/software 是笔者选的放置安装包的位置，该位置可以根据习惯任意变更。
2023-03-07 09:40:10
243
原创 hadoop3 高可用集群
配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop。在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小。
2022-09-17 13:52:03
1118
原创 zookeeper 集群搭建
集群环境下，不管是启动还是关闭都是一件比较麻烦的事情，这里准备一个脚本，从而实现一次性的启动和关闭，方便操作。这个配置可以不配，但是由于我们学习阶段，资源有限，这里则特意将进程的内存调小，防止资源不够。官方存在一个配置文件的样板，我们可以通过复制样板修改自己的配置文件。将 zookeeper 和 修改的配置文件一起分发给其它机器。准备一个数据文件夹，并创建节点唯一标识 myid。配置文件内容大致如下。
2022-09-15 23:10:46
1130
原创 hadoop3 完全分布式安装
创建一个脚本，用于同步不同服务器之间的文件，比如在 102 上修改完一些文件，借用下方脚本可以直接同步到 103 和 104。在 /etc/sudoers 文件内容的下图的位置添加如下内容，从而开启 sudo 权限并允许免密切换到 root。我们在执行上面脚本的时候，每次都需要输入密码，很是麻烦，这里我们可以通过配置 ssh 免密从而减少操作。我们检查集群是否启动成功，每次都需要到不同的服务器执行 jps 命令，很不方便。我们可以创建一个脚本，封装集群的启动和关闭，方便操作。
2022-09-08 10:59:48
2393
原创 hadoop3 伪分布式安装
我们在学习的过程中，很难有资源同时准备几台服务器来安装 hadoop，那样成本太高了，即使我们选择虚拟机安装 linux 服务器，宿主机也很难有那么大的内存供我们使用，但是 hadoop 是天然分布式的，为了方便我们学习，hadoop 支持了伪分布式的安装模式。如果是使用 vmware 虚拟机，IP 地址的详细配置请参考：https://www.cnblogs.com/lovling/p/7941201.html。yarn 界面：http://mitchell-101:8088/cluster。
2022-09-08 10:43:51
863
原创 typora 自动添加标题序号
1. 编辑时自动加标题1.1. 皮肤代码将下方的皮肤代码拷贝到一个文件并重命名，如：mystyle.css:root { --side-bar-bg-color: #ffffff; --control-text-color: #777;}@include-when-export url(https://fonts.loli.net/css?family=Open+Sans:400italic,700italic,700,400&subset=latin,latin-ext
2022-04-22 16:51:44
2118
4
原创 elasticsearch 简单使用
版本信息{ "name" : "74c1872a9b2d", "cluster_name" : "docker-cluster", "cluster_uuid" : "NtcKAJTdTd6rU-NTzwnrSg", "version" : { "number" : "8.1.0", "build_flavor" : "default", "build_type" : "docker", "build_hash" : "3700f7679f7d95e36da
2022-04-20 14:31:18
1885
原创 elasticsearch ik 分词器动态词典
环境准备docker 安装的 es，并且安装了 ik 分词器docker 安装的 kibanadocker 安装的 nginx如果以上软件未安装，可以移步以下教程：docker 安装 nginx 代理服务器，并实简单的 html 服务器，和数据卷 docker 安装 es + kibana + ikIK 分词器配置文件ik 分词器是默认支持远程词典和热跟新的我们打开 分词器的配置文件，可以看到以下内容配置文件路径：plugins/ik/config/IKAnalyzer.cfg.
2022-03-16 23:43:12
6689
原创 docker 安装 es + kibana + ik + 拼音
环境准备防火墙配置我们把 9200 和 9300 两个端口，设置为允许对外访问笔者这边是测试环境，为了防止后续麻烦，直接关闭防火墙# 查看防火墙状态，running 为运行状态firewall-cmd --state# 停用防火墙systemctl stop firewalld.service# 禁止防火墙开机自启systemctl disable firewalld.service# 查看防火墙状态，是否是runningfirewall-cmd --state创建
2022-03-14 22:58:25
3331
原创 linux-centos7 扩展 swap 分区
需求当我们需要安装一个消耗内存比较大的软件时，如果内存不够，服务器资源有限时，我们可以通过扩大 swap 分区来使得我们能够安装并使用该软件，这样虽然运行效率会比较低，但作为临时使用还是可以的，尤其是我们学习阶段在电脑上安装虚拟机，资源十分有限的情况下下面就介绍一种我们在安装 linux 并运行之后，扩大 swap 分区的方法方法# 查看当前内存使用情况，并设置单位为 MBfree -m可以看到笔者的内存 是 1G ，swap 是 2G，内存剩余 74M，这点可怜的内存想要安装一个耗内存的软
2022-03-13 00:14:09
2784
原创 springboot2 jackson 实现动态返回类字段
问题与需求自从前后端分离的开发模式广泛普及之后，JSON 便成为了端到端交互的首选数据结构。我们在使用 java 开发后端接口的时候，往往会出现我们一个类有十来个字段，但是前端使用到的可能就两三个字段，产生大量冗余字段的情况，虽然对开发没什么影响，但是感觉上就很不爽，并且好些敏感字段返回出去，会降低程序的安全性。比如下面这个典型的例子，我们在查询的时候肯定要把 密码 过滤掉。package com.hwq.common.api.model.entity;import com.baomidou.m
2022-03-09 16:51:54
4854
原创 git 常用操作命令
分支操作# 克隆一个项目git clone 地址# 查看全部分支git branch -a# 查看当前分支git branch# 切换分支git checkout 分支名# 根据 tag 创建分支git branch 新分支名 版本号# 根据线上的分支 创建新分支git checkout -b 新分支名 origin/原有分支名同步提交# 拉取代码git pull# 全局设置提交人的和邮箱git config --global user.email 邮箱g
2022-03-06 15:23:09
151
原创 解决 Oracle IN 语句超过 1000 个报错问题，基于 Mybatis
问题描述日常开发中，我们难免后用到下面这样的逻辑。尤其是在做数据查询的时候，后端根据前端多选控件 传递的 的条件进行查询的时候，这样的查询方式几乎没有替代方案select * from tbl_name where id in (?, ?, ?)之前做项目的时候使用了 oracle 数据库，就出现了多选控件数据太多，选择的内容超过 1000，传递给后端查询语句的时候，超出 oracle in 语句的上限，导致 sql 异常错误，同时用户你不同意前端控件控件选择 1000 的上限其实这也
2021-12-31 13:26:43
2797
原创 gateway 网关拦截 POST 请求的参数
前言公司的开发采用了 gateway 作为微服务的网关，笔者使用中发现，gateway 网关拦截 POST 请求的参数非常麻烦，百度了很多种方法，有的获取不到，有的被读取到了，但是在往下居然获取不到了，千辛万苦终于找到了比较好的方式，以下做个笔记相关坑过滤器中的 Body 只能被读取一次，读取后之后在就读取不到了（坑爹）由于异步问题，直接获取参数内容可能会为空，并且不同的 SpringBoot 版本，有的能获取到，有的获取不到（坑爹的异步）由于异步问题，参数采用消费的模式，一但被读取使用后，后续
2021-10-08 17:02:14
2470
9
原创 springboot2 实现服务被跨域访问
简单粗暴通过 servlet 过滤器 实现package com.hwq.admin.back.config;import org.springframework.stereotype.Component;import javax.servlet.*;import javax.servlet.http.HttpServletResponse;import java.io.IOException;@Componentpublic class CrosFilter implements F
2021-09-03 17:20:28
219
原创 linux-centos7 防火墙 firewall 简单操作命令
防火墙的开启和关闭# 启动防火墙systemctl start firewalld# 设置开机自启systemctl enable firewalld# 停用防火墙systemctl stop firewalld.service# 禁止防火墙开机自启systemctl disable firewalld.service# 查看防火墙状态，是否是runningfirewall-cmd --state# 重启防火墙，改动配置后一般要执行该命令
2021-07-29 10:13:25
253
原创 java 日期 localdate 一些简单的使用方法
LocalDate 一些简单的使用方法DateTimeFormatter df = DateTimeFormatter.ofPattern("yyyyMMdd");// 格式化日期字符串为 日期对象LocalDate date1 = LocalDate.parse("20210609", df);LocalDate date2 = LocalDate.parse("20210306", df);// 获取当前日期是周几DayOfWeek week = date1.getDayOfWeek()
2021-06-09 14:16:24
217
原创 springboot2 优雅的参数验证 jsr303
1，相关依赖<!-- 参数验证 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-validation</artifactId></dependency>2，实体类注解一个字段上可以加多个注解package com.hwq.common.model.dto;i
2021-06-03 17:41:06
176
原创 java + maven + git + docker + jenins 实现项目 linux 服务器的一键部署
1，安装 java 运行环境 jre1，下载jre 下载地址选择 linux 版本2，安装1，将 jar 包上传到 linux2，解压并剪切到 /usr/local/java 目录这里的目录可以自定义，不过一般安装软件都会放在该目录下tail -zxf 压缩包3，修改环境变量vim /etc/profile在文件的末尾新增内容JAVA_HOME=/usr/local/javaCLASSPATH=$JAVA_HOME/libPATH=$PATH:$JAVA_HOME/bin
2021-04-20 13:19:36
275
原创 typora + picgo + gitee 搭建博客写作环境
1，软件准备typorapicgo注册在线代码仓库码云，https://gitee.com/2，仓库的配置1，创建一个公开的仓库2，创建私有令牌1，设置2，私人令牌3，创建令牌4，记住令牌3，图床软件安装配置1，PicGo 安装插件2，启用插件3，配置插件其中仓库地址来自于：4，编辑器配置1，文件 > 偏好设置 > 图像...
2021-04-07 14:52:29
200
原创 java jfreechart 折线图数据量大，X 轴刻度密密麻麻显示不下，或者省略号的解决办法
1，背景1，原因项目开发中，一般情况下，统计图什么的都是前端来实现的，后端只需要返回数据就好，但是在一些特殊情况下，比如发送邮件报表什么的，这时候不经过前端，不能让前端渲染之后把图片传回来，这时候我们就需要一个比较好的报表绘制工具了2，依赖<!-- 报表绘制 --><dependency> <groupId>org.jfree</groupId> <artifactId>jfreechart</artifactId&
2021-03-26 19:45:23
4813
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人