- 博客(161)
- 资源 (1)
- 收藏
- 关注
原创 手动修改zk类型的kafka offset
查找并修改ae_spark这个topic的消费者组的offset值。对于每个分区(0、1、2),需要分别查看和修改offset值。这个命令会返回当前的offset值。查看和修改分区0的offset值。连接到ZooKeeper。
2024-08-19 14:50:38
310
原创 阻断血缘关系以及checkpoint文件清理
2.2 可以通过getCheckpointDir.get方式读取到checkpoint的文件地址。2.1 更改配置文件开启checkpoint文件清理。
2023-12-24 23:04:57
726
原创 Mac node使用nvm进行版本管理
nvm是node版本管理工具,为解决node各版本不兼容问题,nvm是让你在同一台机器上安装和切换不同版本的node。
2023-03-28 16:09:33
411
原创 Mac node使用nvm进行版本管理
nvm是node版本管理工具,为解决node各版本不兼容问题,nvm是让你在同一台机器上安装和切换不同版本的node
2023-03-28 15:58:25
688
原创 mac安装HomeBrew就一个命令就够了,感谢大佬
/bin/zsh -c “$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)”感谢大佬 https://zhuanlan.zhihu.com/p/111014448
2023-03-28 15:47:27
142
原创 SimpleDateFormat类的parse和format方法的线程安全问题
SimpleDateFormat类的parse和format方法的线程安全问题
2022-10-27 15:27:44
621
原创 mysql 8.0 安装记录
mysql 8.0 安装记录mysql 安装信息:用root 安装依赖yum -y install libaio libaio-devel下载mysql安装包nohup wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xz &解压到/home/hadoop 目录中tar -xvf mysql-8.0.26-linux-glibc2.12-x86_64.tar
2022-03-19 21:10:18
1799
转载 记录一个分发脚本
=================================================================#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1)
2022-03-08 16:59:00
93
原创 maven使用本地仓库作为远程仓库使用
maven使用本地仓库作为远程仓库使用说明:在内网环境,没有搭建私服。将本地的maven库作为远程仓库使用,即强制使用本地仓库1.查看现有的本地仓库的依赖包的下载来源的镜像id查看本地maven库中下载的jar,同级目录的_remote.repositories 文件,此文件中有仓库id,注意如果在你的settings.xml中配置了多个mirror,那这个镜像id就有多个。2. 配置自己内网环境中的maven的settings.xml文件注意:如果查看到的镜像Id有多个,这里的mirror也要
2022-03-02 10:52:25
6429
原创 Go 简介、应用场景
Go 简介、应用场景一. go语言的优势1.并发性能好基于goroutine(协程) 的并发,可以将 goroutine 理解为一种虚拟线程。Go 语言运行时会参与调度 goroutine,并将 goroutine 合理地分配到每个 CPU 中,最大限度地使用CPU性能。开启一个goroutine的消耗非常小(大约2KB的内存),你可以轻松创建数百万个goroutine。goroutine的特点:goroutine具有可增长的分段堆栈。这意味着它们只在需要时才会使用更多内存。goroutine
2021-08-05 20:45:54
4063
原创 GO 基于module管理依赖
GO 基于module管理依赖1. 基础配置1.配置环境变量(1.13以后不需要设置) GO111MODULE=off禁用模块支持,编译时会从GOPATH和vendor文件夹中查找包。 GO111MODULE=on启用模块支持,编译时会忽略GOPATH和vendor文件夹,只根据 go.mod下载依赖。 GO111MODULE=auto,当项目在$GOPATH/src外且项目根目录有go.mod文件时,开启模块支持。简单来说,设置GO111MODULE=on之后就可以使用go module了,
2021-08-05 20:32:28
161
原创 Docker 镜像原理
Docker 镜像原理文章目录Docker 镜像原理一. Linux操作系统组成1. 一些名词2. Linux启动二. UnionFs(联合文件系统)三. 镜像加载原理四. 特点镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于运行环境开发的软件,它包含运行某个软件所需的所有内容,包括代码、运行时、库、环境变量和配置文件一. Linux操作系统组成1. 一些名词Kernel:内核,核心,内核空间bootloader:加载器,主要是引导加载kernelbootfs:linux最底
2021-06-03 18:39:02
263
1
原创 Docker实践
Docker实践文章目录Docker实践一. Portainer 可视化面板安装二. 安装nginx三. 安装tomcat问题:四. 安装部署elasticsearch+kibana知识点:一. Portainer 可视化面板安装docker run -d -p 8080:9000 \--restart=always -v /var/run/docker.sock:/var/run/docker.sock --privileged=true portainer/portainer二. 安装ngi
2021-05-31 10:40:18
92
原创 Docker 命令行
Docker 命令行帮助文档地址:https://docs.docker.com/engine/reference/commandline/dockerd/命令说明容器生命周期管理run创建一个新容器并运行start开启一个容器并使其在后台运行stop停止一个容器restart重启一个容器kill杀掉一个容器进程rm删除容器pause暂停容器unpause恢复暂停容器create从镜像中创建一个容器exec对一个容器执行shell命令 容器操作ps列出容器inspect获取容器或镜像的元数据top查看正
2021-05-25 23:06:13
985
8
原创 Docker 概念、原理、安装部署
Docker 概念、原理、安装部署Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口docker是一种技术,能使得应用在任何环境都能用的打包技术。打包出的东西叫镜像。镜像运行时(有对外提供服务能力)叫容器[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传DevOps(开发即运维)应用更快速的交付和部署更便捷的升级和扩容更简单的系
2021-05-25 15:53:28
195
原创 自动查券机器人资料
自动查券机器人资料1、自动查券机器人是什么?有什么价值?简单的说,查券机器人它通过帮助用户查询商品的优惠券来获得官方联盟(一般指阿里妈妈、京东联盟、多多进宝等)的佣金。2、公众号查券机器人系统免费版:公众号淘客机器人自助搭建教程3、微信订阅号可以接入吗?可以,系统支持订阅号的的淘客机器人系统,不管是订阅号还是服务号,只要是微信公众号一律通吃。4、淘客机器人后台登陆地址http://wxmp.sharepay.xyz/目前已集成sso单点登录系统,登录地址会被拦截到sso登录页5、免费通用
2021-03-22 17:57:39
614
原创 CentOs7 部署tomcat遇到的一些坑
CentOs7 部署tomcat遇到的一些坑文章目录CentOs7 部署tomcat遇到的一些坑1.CentOS7无法关闭、无法开启、黑屏2.CentOs中部署好tomcat,开启之后,本机浏览器无法访问3.Tomcat端口改为80后访问页面出错1.CentOS7无法关闭、无法开启、黑屏任务管理器杀进程之后,重启计算机;删除.log文件 .lck文件 以及564d8dc7-71b7-c6f4-db57-a2bb4f136a37.vmem文件;以管理员方式打开CMD窗口,输入netsh win
2020-11-03 15:16:53
387
原创 GC回收算法、堆参数调优
GC回收算法、堆参数调优文章目录GC回收算法、堆参数调优一.GC回收算法1.引用计数法2.复制算法3.标记清除算法4.标记整理算法二.总结三.堆参数调优1.堆空间调整参数2.获取堆内存信息3.调整堆参数3.1 将默认内存和最大内存都调整为4/13.2 非堆内存调整3.3 JVM内存限制(最大值)4.三种内存溢出异常介绍5.查看GC日志JVM在进行GC时,并非每次都对上面三个内存区域一起回收的,大部分时候回收的都是指新生代。因此GC按照回收的区域又分了两种类型,一种是普通GC(minor GC),一种是
2020-09-23 22:52:44
205
原创 JVM体系结构
文章目录JVM体系结构一.类加载器 ClassLoader1.类加载的过程2.加载类的几种方式3.三种类加载器1.Bootstrp loader(启动类加载器)2.Extension loader(扩展类加载器)3.AppClassLoader(应用程序类加载器)4.双亲委派5.沙箱安全二.执行引擎 Execution Engine三.PC寄存器(程序计数器)四.本地方法接口 Native Interface五.本地方法栈 Native Method Stack六.方法区 Method Area七.java
2020-09-23 20:16:35
247
原创 并发环境下的常用容器类
并发环境下的常用容器类文章目录并发环境下的常用容器类一:常用七大并发容器类二:并发环境中List接口下容器的替代容器1.ArrayList1). 出现异常:2). 解决方法:2.1 使用Vector2.2 使用使用容器工具类下 Collections.synchronizedList(new ArrayList<>())/Collections.synchronizedSet(new HashSet<>())2.3 使用写时复制 new CopyOnWriteArrayList(
2020-09-14 17:40:34
237
原创 关于ConcurrentHashMap和ConcurrentSkipListMap
关于ConcurrentHashMap和ConcurrentSkipListMap文章目录关于ConcurrentHashMap和ConcurrentSkipListMap一:ConcurrentHashMap1.为什么HashMap不安全?2.HashTable解决了线程安全的问题,为什么不用?3.ConcurrentHashMap /jdk 1.74.ConcurrentHashMap /jdk 1.81.Node数组初始化2.put实现二:ConcurrentSkipListMap1.继承关系2
2020-09-14 16:14:09
1353
原创 java8 容器类Optional学习笔记
java8 容器类Optional学习笔记文章目录java8 容器类Optional学习笔记Option提供的方法ofofNullableisPresentgetifPresentorElseorElseGetorElseThrowmapflatMapfilterjava8引入入了·一个1容器类Optional,解决了空指针异常不容易查找的痛点问题。java8 DOC中介绍:这是一个可以为null的容器对象。如果值存在则isPresent()方法会返回true,调用get()方法会返回该对象。O
2020-09-12 12:06:00
164
原创 Java Fork/Join框架 任务拆分 并行执行
Java Fork/Join框架 任务拆分 并行执行文章目录Java Fork/Join框架 任务拆分 并行执行一. 概述二. 关于工作窃取模式1. 执行过程2. 优缺点三. Fork/Join框架实现原理1.ForkJoinTask2.ForkJoinPool3.Fork/Join框架的实现原理3.1 ForkJointTask中的fork()方法3.1 ForkJointTask中的join()方法3.3 ForkJoinWorkerThread 工作线程四.其他1.使用Fork/join框架处理
2020-09-09 17:19:35
638
2
原创 强大的Stream API--总结
强大的Stream API–总结文章目录强大的Stream API--总结一.概述和特点概述:特点:流的构成:二.常用生成流的方式1.使用Collection下的 stream() 和 parallelStream() 方法2.使用Arrays 中的 stream() 方法,将数组转成流3.使用Stream中的静态方法:of()、iterate()、generate()4.使用 BufferedReader.lines() 方法,将每行内容转成流5.使用 Pattern.splitAsStream() 方
2020-09-08 21:21:20
299
原创 Lambda--方法引用、构造器引用、数组引用
Lambda–方法引用、构造器引用、数组引用文章目录Lambda--方法引用、构造器引用、数组引用一.方法引用1.使用限制2.语法格式2.1 实例对象::实例方法名2.2 类名::静态方法名2.3 类名::实例方法名(特殊限制)二.构造器引用三.数组引用一.方法引用Lambda已经极大地简化代码,方法引用是Lambda的另一种表现形式。Lambda方法体如果以及被实现了,我们可以直接去引用这个方法,不需要重复去写。1.使用限制方法引用引用的方法的参数列表和返回值类型,必须和函数式接口中抽象方法的参
2020-09-07 12:56:51
275
原创 jdk8内置四大核心内置函数式接口
jdk8内置四大核心内置函数式接口一. 四大核心内置函数式接口Consumer< T > 消费性接口 (有来无回),即有参数没有返回值 调用方法:void accept(T t)public static void con(double money,Consumer consumer){ consumer.accept(money);}con(20,(e)-> System.out.println("我有"+e+"块钱!"));Predicate&l
2020-09-05 20:18:41
577
原创 Lambda表达式语法以及示例
Lambda表达式总结文章目录Lambda表达式总结一. Lambda简介与用途二. 函数式接口三. Lambda基础语法四. Lambda重要特性五. Lambda表达式使用实例1 . 常规做法是2. 策略模式做法3. 内置函数式接口Predicate4. 调用Stream API5. 注意几点六. 匿名内部类或Lambda使用局部变量一. Lambda简介与用途Lambda 表达式,也可称为闭包,它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数(函数作为参数传
2020-09-05 16:56:30
318
原创 DHCP协议的原理以及实现过程
DHCP协议的原理以及实现过程文章目录DHCP协议的原理以及实现过程1. 简介2. DHCP的功能3. DHCP请求过程以及原理1. 简介DHCP是一个动态主机配置协议,前身是BOOTP协议,是一个局域网的网络协议 。在DHCP实现过程中有两个对象,一个是DHCP client,一个是DHCP server,DHCP使用UDP协议工作,server使用67端口,client使用68端口。DHCP通常被用于局域网环境,主要作用是集中的管理、分配IP地址,使client动态的获得IP地址、Gateway
2020-09-03 09:41:57
968
原创 js拼写sql条件,between and,日期左闭右开的问题
js拼写sql条件,between and,日期左闭右开的问题短日期类型默认Time为00:00:00,所以当使用between作限制条件时,就相当于 between ‘2020-8-10 00:00:00’ and ‘2020-8-10 00:00:00’,因此就查不出数据。提供一种解决思路:补全...
2020-08-20 12:23:46
1282
原创 在Vue中推荐一款做轮播图的插件 -- Swiper
在Vue中推荐一款做轮播图的插件 – Swiper文章目录在Vue中推荐一款做轮播图的插件 -- Swiper一:如何使用1.下载依赖2.在main.js中全局引用加载3.使用(注意看下自己Swaper的版本,6.X以上版本引用css文件方式不一样)4. 示例代码二:可能出现的问题1. 给每个滑块绑定的click点击方法不生效三:官方参考首先上效果:一:如何使用1.下载依赖npm install swiper vue-awesome-swiper --save# oryarn add sw
2020-08-16 20:01:37
944
原创 使用iterator迭代器遇到的问题
使用iterator迭代器遇到的问题出现的问题Set<String> all = Set.of("Hello", "world","sina","sohu"); Iterator<String> iter = all.iterator(); while (iter.hasNext()) { String string = iter.next(); String string1 = iter.next(
2020-07-10 09:54:37
561
原创 ETL -- Kettle
ETL – Kettle文章目录ETL -- Kettle1.什么是kettle2. Kettle核心知识点1.1Kettle工程存储方式1.2 Kettle的两种设计1.3 Kettle的组成3. kettle的安装4. 实践中遇到的问题1.HDFS作为数据输出的位置,因为用户没有写入没有权限报错?2. 使用hive数据源,要开始hiveserver2,但是无法连接?5. kettle的优化...
2020-04-28 16:07:12
257
原创 SaprkSql数据源以及Hive使用
SaprkSql数据源文章目录SaprkSql数据源1. 通用数据保存方式2. json文件3. Parquest文件4. JDBC5. Hive 数据库1. 内嵌Hive应用2. 外部Hive应用3. 运行Spark SQL CLI4. 代码中使用Hive1. 通用数据保存方式Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作,...
2020-04-24 14:44:50
321
原创 Spark -- SparkSql编程
Spark – SparkSql编程文章目录Spark -- SparkSql编程1. DataFrame1.1 创建1.1.1 通过spark的数据源创建1.1.2 从RDD进行转换1.1.3 从Hive Table进行查询返回1.2 SQL语法风格1.3 DSL语法风格1.1.4 RDD转换为DataFrame2. DataSet2.1 创建3. RDD,DataSet和DataFrame的...
2020-04-22 23:03:58
296
原创 SparkSql -- DataFrame和DataSet
SparkSql – DataFrame和DataSet1. 什么是sparksqlHive将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduc的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!2. sparksql的特点易...
2020-04-22 17:00:15
252
原创 Spark -- 累加器和广播变量
Spark – 累加器和广播变量文章目录Spark -- 累加器和广播变量一. 累加器1. 系统累加器2. 自定义累加器二. 广播变量spark有三大数据结构:RDD:分布式弹性数据集累加器:分布式只写数据集广播变量:分布式只读数据集一. 累加器累加器用来对信息进行聚合,通常在向 Spark传递函数时,比如使用 map() 函数或者用 filter() 传条件时,可以使用驱动器程序中...
2020-04-22 14:37:42
342
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人