- 博客(59)
- 收藏
- 关注
RSS订阅原创 sql 通过lead lag获取数据连续最大条数-获取用户连续登录最长天数
一、业务需求获取每个用户连续登录的最长天数二、初始化测试数据drop table if EXISTS login_log;create table login_log ( times timestamp, user_id string);truncate table login_log;insert into login_log VALUES(from_unixtime(unix_timestamp('2022-03-16 12:00:00','yyyy-MM-dd HH:mm:ss')),
2022-05-14 23:08:21
1333
原创 Java 生产者消费者模式实现
一、生产者消费者模式题目：有一个仓库，容量为N；有若干个生产者，将生产的产品存入到仓库中，除非仓库已满；又有若干消费者，从仓库中取出产品消费，除非仓库已空。请写一段程序，让这个模式正常运转，考虑到多线程并发情况。二、代码实现public class ProducerConsumerRun { public static void main(String[] args) { Resource resource = new Resource(); Producer
2022-05-01 18:04:01
842
2
原创 json 深层路径值更改或读取 fastjson
前言自动化测试下为了使一个json 串适用于多种用例场景，经常涉及到对json深层数据的读取和更改，写了很多了，做下总结。github上最新tag是1.2.80了，还是用最新releases版本https://github.com/alibaba/fastjson/releases一、配置及示例pom.xml配置 <dependency> <groupId>com.alibaba</groupId> <artifactId&g
2022-04-21 22:49:50
2891
原创 centos7下zeppelin安装配置
一、简介zepplin 和 jupyter 均是基于web 的notebook风格的交互数据分析和协作平台。均支持ipython,spark,python等最常用的数据分析工具；均支持local模式、yarn、k8s等资源管理平台。zeppelin集成了各种数据源连接组件，提供了统一的数据可视化平台。二、安装#解压安装包sudo tar xvf zeppelin-0.10.0-bin-all.tar -C /opt#获取配置文件cd /opt/zeppelin-0.10.0-bin-all/c
2022-03-30 22:55:34
365
原创 SpringBoot 单元测试，@Value注解执行不生效问题解决，测试类依赖注入实例失败问题解决
一、问题背景：想要把配置文件中的配置在测试的时候加载到测试类中，但是执行下来，发现@Value在测试方法执行时，不生效。参数总是加载为null 。springboot 版本：2.6.4二、原因排查（一）查找@Value 生效前提如下：1、不能作用于 static final 修饰的属性；2、不能作用于非注册类，即用@Component 及其衍生注解的类；3、类的使用只能通过依赖注入的方式，不能用new的方式；以上三点，只有第三点我不满足，于是我在测试类中添加了被测试类的依赖注入@Autowir
2022-03-27 20:12:29
10396
原创 clickhouse连接问题解决：Code: 210. DB::NetException: I/O error: Broken pipe, while writing to socket
文章目录#一、问题现象clickhouse-client可以正常连接登录，但是执行语句就会报错；报错如下：10.58.11.10 :) show tables ; SHOW TABLES Exception on client:Code: 210. DB::NetException: I/O error: Broken pipe, while writing to socket (10.58.11.10:9000) Connecting to 10.58.11.10
2022-03-13 13:19:39
7461
2
原创 hbase表shell批量删除，disable
执行命令：#展示匹配正则表达式的所有的表echo -e "list '^.*:[0-9a-zA-Z]{1,8}$'" | hbase shell -n#disable所有匹配正则表达式的表echo -e "disable_all '^.*:[0-9a-zA-Z]{1,8}$'\ny" | hbase shell -n#drop所有匹配正则表达式的表echo -e "drop_all '^.*:[0-9a-zA-Z]{1,8}$'\ny" | hbase shell -n如示例所示，dro
2022-03-10 17:32:00
2605
原创 力扣算法题-2013. 检测正方形 Java实现
题目给你一个在 X-Y 平面上的点构成的数据流。设计一个满足下述要求的算法：添加 一个在数据流中的新点到某个数据结构中。可以添加 重复 的点，并会视作不同的点进行处理。给你一个查询点，请你从数据结构中选出三个点，使这三个点和查询点一同构成一个 面积为正 的 轴对齐正方形 ，统计 满足该要求的方案数目。轴对齐正方形 是一个正方形，除四条边长度相同外，还满足每条边都与 x-轴 或 y-轴 平行或垂直。实现 DetectSquares 类：DetectSquares() 使用空数据结构初始化对象
2022-01-26 22:19:05
507
原创 centos7 - mysql 离线安装
一、前言mysql版本：5.7.11mysql官方下载地址：https://dev.mysql.com/downloads/mysql/需要的安装包 ：libaio-0.3.109-13.el7.x86_64.rpmmysql-community-devel-5.7.22-1.el7.x86_64.rpmmysql-connector-python-8.0.11-1.el7.x86_64.rpmmysql-5722.tar.gzmysql-community-libs-5.7.22-1.el
2021-12-12 22:40:42
1309
原创 centos7 单机安装 greenplum6
一、前言安装版本：6.15.0安装包：greenplum-db-6.15.0-rhel7-x86_64.rpm官方下载地址：https://network.pivotal.io/products/vmware-tanzu-greenplum#/releases/326063/file_groups/1521安装按照如下设置进行主机ip：10.58.11.100主机名：hostofgpinstall初始化gp数据库：hdw二、安装（一）安装前准备#关闭防火墙sudo chkconfig
2021-12-01 23:16:01
804
原创 力扣算法题-1.两数之和 java实现
给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。 示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1] 。示例 2：输入：nums = [3,2,4], ta
2021-11-21 23:09:43
154
原创 flink 本地环境消费kafka消息
一、前言基础实现，仅实现了flink正常消费kafka数据，没有对数据进行处理。二、实现package scalaimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic}import org.apache.f
2021-10-26 17:32:20
313
原创 flink 本地环境使用scala实现词频统计
一、构建本地flink项目java语言的场景mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.9.0scala语言的场景mvn archetype:genera
2021-10-26 15:28:15
1222
原创 hive sql 和 spark sql的区别
要知道两种sql的区别，先要知道什么是hive，什么是spark一、什么是hive，什么是spark（一）hive1、hive在hadoop中承担了多种角色，每种角色承担特定的功能。定语角色作用优点基于Hadoop的数仓工具查询引擎可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转化为MapReduce任务进行运行学习成本低，可以通过类sql语句执行统计，不必开发专门的MapReduce应用建立于Hadoop上的数据仓库基础架
2021-10-18 23:09:10
21268
13
原创 org.hibernate.validator.internal.engine.ConfigurationImpl.getDefaultParameterNameProvider()Ljavax
一、问题现象报错日志如下2021-10-14 11:42:52.749947776 /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \2021-10-14 11:42:52.749952344 ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \2021-10-14 11:42:52.749957622 \\/ ___)| |_)| | | | | || (_| | ) ) ) )2021-10-14 11:42:52.749992
2021-10-14 14:30:21
1341
原创 给调用Http 接口的多种方式加代理 proxy
一、http 接口添加代理（一）httpClient CloseableHttpClient <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.12</version>
2021-08-26 14:12:58
1342
原创 hive执行jar包报错：Invalid signature file digest for Manifest main attributes
重新打包，排除包中的 *.SF *.DSA *.RSA 文件；修改 jar包的pom文件后，重新打包即可； <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>
2021-08-24 11:36:44
570
原创 centos系统信息查看，查看核数，内存，系统版本等信息
一、查看centos版本cat /etc/redhat-release二、查看内核版本uname -a三、查看内存大小grep MemTotal /proc/meminfo四、查看磁盘大小
2021-08-23 09:54:37
574
原创 大数据常见门派介绍 - 持续更新中
大数据门派介绍机构ApacheCloudrea（云纪元）Hortonworks（霍顿作品）分布式系统基础架构简称Hadoopcdhhdp分布式系统基础架构全称Hadoop Distributed File SystemCloudera’s Distribution Including Apache HadoopHortonworks Data Platform大数据运维AmbariCloudera Manager...
2021-08-23 09:53:05
72
原创 shell 使用sed命令替换文件中单引号的内容，包含两种转义单引号的方式
全局替换filename 文件中的单引号中的内容为1sed $‘s/’.*’/‘1’/g’ filename单引号转义方式一：加$符号，让 bash转义；sed “s/’.*’/‘1’/g” filename转移单引号的时候，使用双引号包裹；
2021-08-04 16:59:40
5686
原创 Mac下sublime安装pretty json使用及快捷键无效时，快捷键方式
一、安装（一）安装1、Ctrl+Shift+P 弹框中输入Package Control 选中 Install Package；2、弹框中输入 Pretty Json 选中，开始安装，可以在左下角看安装情况；（二）是否安装成功1、Ctrl+Shift+P 弹框中输入Package Control 选中 List Packages；2、弹框中输入 Pretty Json 若存在即证明安装成功；也可以如下图查看，有了就是安装成功了。二、使用1、选中json串，Ctrl+Shift+P 弹框中
2021-07-28 16:40:03
13507
3
原创 expect 实现多host 自定义别名登录，用户名和密码配置到脚本里，自动登录
背景：因为经常登录多个主机，总是不太记得id，还要再找出来用户名和密码，费时费力，为了偷懒将信息记录到脚本里面，命令实现自动登录脚本（注意空格和是否引号的处理）#!/usr/bin/expectset timeout 30set host [lindex $argv 0]if { $host == "alias_host1" } { spawn ssh user@host1 expect "*password*" send "your_password\r"} elseif { $
2021-06-18 17:55:03
147
原创 Mac shell 替换文件夹下所有文件中的某一字符串 sed: 1: “xxx“: extra characters at the end of d command
shell 替换文件夹下所有文件中的某一字符串#!/bin/sh#cd 后面的内容为执行文件夹，即需要替换字符串的文件夹cd ~/directory#遍历文件，并对文件中的内容进行全部替换for file in ./*do sed -i '' 's/stringbefore/stringafter/g' $filedone编写的过程中遇到报错信息如下：sed: 1: “xxx”: extra characters at the end of d command普通的编写sed -i
2021-06-15 14:49:28
1358
原创 RequestBody申请json对象获取 java.util.LinkedHashMap cannot be cast to com.alibaba.fastjson.JSONObject
申请传入的requestbody{ "content":[{"id":1,"name":"张三"},{"id":2,"name":"李四"}]}fastjson依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version&g
2021-06-10 11:58:24
1664
原创 Java JPA 多数据源查询 支持动态sql动态查询
背景介绍需要对两个mysql的数据库做数据对比，且两个mysql数据库来自不同的数据源；一、配置信息（一）依赖配置文件：pom.xml <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</
2021-06-05 18:30:11
1536
原创 Mac终端环境变量设置 路径存在空格的处理方式
环境变量生效报错信息变量路径export MAVEN_HOME=/Applications/IntelliJ IDEA.app/Contents/plugins/maven/lib/maven3生效环境变量操作的报错信息TD-yin:~ yonghu$ . .bash_profile -bash: export: `IDEA.app/Contents/plugins/maven/lib/maven3': not a valid identifier解决方式1、转义空格，在空格前加反斜杠e
2020-12-04 17:36:25
2597
原创 力扣算法题-234.回文链表
题目请判断一个链表是否为回文链表。示例 1:输入: 1->2输出: false示例 2:输入: 1->2->2->1输出: true进阶：你能否用 O(n) 时间复杂度和 O(1) 空间复杂度解决此题？来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/palindrome-linked-list思路1、首先获取链表长度；2、获取前段链表，和后段链表；3、翻转后段链表，若前段和后段链表遍历全部相等，则为回
2020-10-24 00:24:32
145
原创 力扣算法题-763.划分字母区间 C语言实现
题目字符串 S 由小写字母组成。我们要把这个字符串划分为尽可能多的片段，同一个字母只会出现在其中的一个片段。返回一个表示每个字符串片段的长度的列表。示例 1：输入：S = “ababcbacadefegdehijhklij”输出：[9,7,8]解释：划分结果为 “ababcbaca”, “defegde”, “hijhklij”。每个字母最多出现在一个片段中。像 “ababcbacadefegde”, “hijhklij” 的划分是错误的，因为划分的片段数较少。提示：S的长度在[1, 5
2020-10-22 17:25:05
315
原创 力扣算法题-925.长按键入 C语言实现
题目你的朋友正在使用键盘输入他的名字 name。偶尔，在键入字符 c 时，按键可能会被长按，而字符可能被输入 1 次或多次。你将会检查键盘输入的字符 typed。如果它对应的可能是你的朋友的名字（其中一些字符可能被长按），那么就返回 True。示例 1：输入：name = “alex”, typed = “aaleex”输出：true解释：‘alex’ 中的 ‘a’ 和 ‘e’ 被长按。示例 2：输入：name = “saeed”, typed = “ssaaedd”输出：false解释
2020-10-22 16:17:56
365
原创 力扣算法题-25.K个一组翻转链表 C语言实现
题目给你一个链表，每 k 个节点一组进行翻转，请你返回翻转后的链表。k 是一个正整数，它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍，那么请将最后剩余的节点保持原有顺序。示例：给你这个链表：1->2->3->4->5当 k = 2 时，应当返回: 2->1->4->3->5当 k = 3 时，应当返回: 3->2->1->4->5说明：你的算法只能使用常数的额外空间。你不能只是单纯的改变节点内部的值，而是
2020-10-21 13:00:56
284
原创 力扣算法题-23.合并K个升序链表 C语言实现
题目给你一个链表数组，每个链表都已经按升序排列。请你将所有链表合并到一个升序链表中，返回合并后的链表。示例 1：输入：lists = [[1,4,5],[1,3,4],[2,6]]输出：[1,1,2,3,4,4,5,6]解释：链表数组如下：[1->4->5,1->3->4,2->6]将它们合并到一个有序链表中得到。1->1->2->3->4->4->5->6示例 2：输入：lists = []输出：[]
2020-10-20 21:07:50
440
原创 力扣算法题-143.重排链表 C语言实现
题目给定一个单链表 L：L0→L1→…→Ln-1→Ln ，将其重新排列后变为： L0→Ln→L1→Ln-1→L2→Ln-2→…你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。示例 1:给定链表 1->2->3->4, 重新排列为 1->4->2->3.示例 2:给定链表 1->2->3->4->5, 重新排列为 1->5->2->4->3.来源：力扣（LeetCode）链接：https://l
2020-10-20 18:35:47
584
原创 力扣算法题-844.比较含退格的字符串 C语言实现
题目给定 S 和 T 两个字符串，当它们分别被输入到空白的文本编辑器后，判断二者是否相等，并返回结果。 # 代表退格字符。注意：如果对空文本输入退格字符，文本继续为空。示例 1：输入：S = “ab#c”, T = “ad#c”输出：true解释：S 和 T 都会变成 “ac”。示例 2：输入：S = “ab##”, T = “c#d#”输出：true解释：S 和 T 都会变成 “”。示例 3：输入：S = “a##c”, T = “#a#c”输出：true解释：S 和 T 都会
2020-10-20 14:22:12
525
原创 力扣算法题-41.缺失的第一个正数 C语言实现
题目给你一个未排序的整数数组，请你找出其中没有出现的最小的正整数。示例 1:输入: [1,2,0]输出: 3示例 2:输入: [3,4,-1,1]输出: 2示例 3:输入: [7,8,9,11,12]输出: 1提示：你的算法的时间复杂度应为O(n)，并且只能使用常数级别的额外空间。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/first-missing-positive思路1、先进行数组的排序；排序函数qsort，要避免
2020-10-15 18:16:24
331
原创 力扣算法题-24.两两交换链表中的节点 C语言实现
题目给定一个链表，两两交换其中相邻的节点，并返回交换后的链表。你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。示例 1：输入：head = [1,2,3,4]输出：[2,1,4,3]示例 2：输入：head = []输出：[]示例 3：输入：head = [1]输出：[1]提示：链表中节点的数目在范围 [0, 100] 内0 <= Node.val <= 100来源：力扣（LeetCode）链接：https://leetcode-cn.com/pr
2020-10-13 17:16:49
282
原创 力扣算法题-416.分割等和子集 C语言实现
题目给定一个只包含正整数的非空数组。是否可以将这个数组分割成两个子集，使得两个子集的元素和相等。注意:每个数组中的元素不会超过 100数组的大小不会超过 200示例 1:输入: [1, 5, 11, 5]输出: true解释: 数组可以分割成 [1, 5, 5] 和 [11].示例 2:输入: [1, 2, 3, 5]输出: false解释: 数组不能分割成两个元素和相等的子集.来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/
2020-10-11 23:24:12
499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人