自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

水镜先生的博客

因果不可改,智慧不可赐,真法不可传,无缘不可渡。

  • 博客(141)
  • 收藏
  • 关注

原创 使用在linuex上搭建IPsec/L2TP (XXX)笔记

笔记补上

2021-09-29 13:40:54 11

原创 for循环的执行顺序,i++和++i

明天记录

2021-09-27 21:35:00 64

原创 关于token更深的理解笔记

为何!!!!一、为何要使用jwt+shiro+redis*在微服务中我们一般采用的是无状态登录,而传统的session方式,在前后端分离的微服务架构下,如继续使用则必将要解决跨域sessionId问题、集群session共享问题等等。这显然是费力不讨好的,而整合shiro,却很不恰巧的与我们的期望有所违背:  (1)shiro默认的拦截跳转都是跳转url页面,而前后端分离后,后端并无权干涉页面跳转。  (2)shiro默认使用的登录拦截校验机制恰恰就是使用的session。  这当然不是我们想要的

2021-09-23 21:24:58 25

原创 人在选择最多的时候往往选择安逸,以后没选择的时候该怎么办?-来自一任领导

惊醒

2021-09-10 20:53:41 21

原创 通过crc64校验数据传输的完整性(循环冗余校验)

这个技术研究了很长时间,不确定这个方法的内容是怎么样,以后细细研究,这里做一个demo。

2021-09-08 21:38:07 72

原创 k8s如何进入到启动的某个pod容器的内部

学习笔记,不喜勿喷查看所有podskubectl get pod -Akubectl exec -ti 容器名 -n 命名空间 sh然后就可以进入对应的容器,其实和docker一样,之前一直好奇怎么怎么进入到pod中因为感觉进入了pod才能看容器。其实是没理解到位,kubectl就有这个功能,根本不需要进入pod。了解k8s一个多月了,对里面的东西还是有些不太理解,继续向前...

2021-09-06 21:46:46 937

原创 docker 镜像怎么保存到本地成为压缩文件

我下载了一个第三方的es镜像包7.6.2,想获取这个es中的配置文件,但是又懒得去官网下载对应的包,那么有什么办法可以将本地拉下来的镜像保存成一个压缩文件呢?docker是支持这样的操作的如果是第三方的镜像,首先要拉取到本地,docker save -o xxx.tar xxx:tagxxx.tar 是保存到本地的路径名xxx:tag是镜像名字解压保存的压缩文件后内容如下其中文件解析repositories中保存着仓库的地址和版本之类的东西manifest.json中设置了哪个文件是

2021-09-02 13:40:44 183

原创 Flink:job报错NoResourceAvailableException: Could not acquire the minimum required resources

flink报错NoResourceAvailableException: Could not acquire the minimum required resources意思是:没有可以使用的资源。。那么究竟什么资源没有可以被使用了?一般都是说内存吧。所以我们给他调整内存的参数。以下是flink配置参数可以使用的一些配置选项因为我们的内存是16G的服务器,所以我现给调整为以下参数看看,试一试,看是否报错。jobmanager.memory.process.size: 2600mtaskmana

2021-08-26 21:40:39 1552

原创 云服务器新买的的硬盘怎么 分区 格式化 挂载

学习笔记硬盘 分区 格式化 挂载首先查看磁盘的分区情况fdisk -l看到上面这个是我分好区的盘刚买的硬盘应该是下面这样,告诉你没有分区,下图是网络图片,因为我已经分好了,我就懒得删除fdisk /dev/vda1,对磁盘进行分区(根据提示,依次输入“n”,“p”“1”,两次回车,“wq”,分区就开始了,很快就会完成)使用df -l,查看分区挂载情况,当分了区后默认是根目录mkfs.ext4 /dev/vdb1 格式化分区为ext4方式,mount /dev/vdb1 /

2021-08-21 01:19:15 177

原创 使用df -h命令发现盘被占用了好多,但是查看挂载的目录却并没有占那么多

上图可以看到分明/opt/analysis占用只有339M但是这个挂载盘已经占用了18G了,网络上的攻略大多都是让把磁盘卸载了重新挂载就可以了,本来是想按照这个去做的,但是无奈这个盘还有东西在运行。怎么办?还能怎么办?开始分析问题:为什么还会占用这么多?我之前使用它是用来启动flink的。但是我明明把它kill掉了。。。。琢磨了半天我发现,是的,我是将它端口kill掉了,但是怎么说明我将它的进程停掉了?停了嘛?没停,确实是没停。。我将端口kill掉只能说明我将某个进程kill掉了,但是flink依然.

2021-08-16 21:36:38 69

原创 spring data redis 出现Could not get a resource from the pool

同事使用redis做了分布式的集中去重,类似消息的唯一性的判断。报错Could not get a resource from the pool在帮忙排查问题的时候感觉特别奇怪,这不是告诉我redis的连接池里面没有可连接的东西吗?为什么会这样? @Bean public JedisPool redisPoolFactory() { try { JedisPoolConfig jedisPoolConfig = new JedisPoolCo

2021-08-12 21:09:35 54

原创 debian磁盘满了如何快速发现是哪个目录导致的

小伙伴发现磁盘占用过高了,但是不知道怎么快速的去排查,导致一个一个目录ll的去看,这也太low了。。怎么办?如何能快速的查看呢首先df -h看一看是哪个盘满了,是你自己挂载的盘?还是系统的盘满了然后进入到对应的目录下,按照深度去查看文件大小。 du -ah --max-depth=2很明显是我们的log目录占用高了。赶紧写个脚本定时清除日志。...

2021-08-04 16:08:24 354

原创 DNS解析笔记

学习笔记非技术文档最近大哥(我给他的别称,其实是我们的项目经理)自己做了一个dns服务器,然后建了一个vpn,然后只要我连接上了这个vpn就可以随意的访问内网的机器,这波操作让我对东西有了新的理解。。。他直接把所有的从机的ip都退了。然后在跳板机上搭建了一个vpn解决了这个问题。线下测试访问线上的服务器,直接连接vpn就可以,内网走网络的时候都使用路由走走跳板机的网络。。。我之前都是直接ssh做一个外网穿透。没想到还有这种方法。。好了不细细说这个事了。笔记内容:主要目的是总结dns。。因为之前也发生

2021-07-28 23:43:51 26

原创 CDH6 搭建hadoop如何测试hdfs功能

首先吐槽一句,CDH真的太难搭建了,里面各种小细节,一步错了,就会导致各种问题,不管怎么说,反正踩了各种坑,把CDH搭建起来了。下面来介绍一下如何测试HDFS的功能吧。。我这里使用maven去测试,首先安装依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId&gt

2021-07-27 11:41:55 56

原创 centos 的挂载和挂载点理解

文件系统 容量 已用 可用 已用% 挂载点devtmpfs 7.8G 0 7.8G 0% /devtmpfs 7.8G 0 7.8G 0% /dev/shmtmpfs 7.8G 8.7M 7.8G 1% /runtmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup/dev/vda1 40G 2.5G 35G

2021-07-24 23:53:20 174

原创 入站规则和出站规则

补充

2021-07-24 22:41:53 216

原创 flink 报错is not serializable. The object probably contains or references non serializable fields.

今天有同事突然报了这样一个错误,刚开始确实没反应过来,成员变量不可以被序列化。。。。Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.lang.ref.ReferenceQueue$Lock@11fc564b is not serializable. The object probably contains or references non serializable fields.

2021-07-21 21:25:24 982 5

原创 maven仓库在收到导入jar包成功后,IDEA提示找不到

其实这个问题比较蠢,但是当出现的时候还是比较懵圈,所以这里把排查问题的过程总结一下1.为什么需要手动导入maven仓库依赖?当我们在电脑没有翻墙的情况下去中央仓库下载依赖会非常非常的慢,而且很有可能 导致下载的包有问题,其实还是网络的问题,这个时候手动将jar包导入maven仓库就变得很快捷。2.我在使用flink的redissink的时候遇到一些问题,就是我无法自定义ttl参数来控制键的过期时间,这样就需要将flink-connector-redis_2.11包完整的下载到本地,然后修改源代码,进行

2021-07-14 11:24:48 533

原创 log4j报错Please initialize the log4j system properly.

log4j:WARN No appenders could be found for logger (org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more in

2021-07-12 19:27:31 366 1

原创 有选择的人从来都谈不上落魄,过着没有选择,不得已的生活才叫落魄

工作是为了赚钱,赚钱为了让自己能够体面一点,为什么有人会觉得低门槛的工作不体面呢,工作能有钱赚,如果是自己喜欢的事情,那就更好了,赚钱才是人最体面的事情,如果只在意过程上的体面,那是无意义的,我们也不需要在意别人我们在过程上的看法,这是一个只看结果的时代。在这个时代,能认清出自己喜欢什么,认清自己适合什么,本身就是一件很不容易的事情了。加油,陌生人,希望你能找到自己的目标。...

2021-07-12 14:19:20 26

原创 flink-界面知识总结

1.Available Task Slots究竟是干什么用的翻译过来就是可用任务槽,当我们使用flink的页面启动了一个任务后就会发现这个东西会变为0,当没有Available Task Slots的时候再启动任务就会报错,没有可用的Slots看来要想任务顺利执行,首先要保证slot数量够用,目前机器内存是够用的,那么就把slot数量调大些吧根据官方文档的指导,应该修改conf目录下的flink-conf.yaml文件中taskmanager.numberOfTaskSlots的值,如下图红框所示,文档

2021-07-01 23:35:29 115 2

原创 初试flink---使用RocksDB文件目录中的文件究竟是什么意思

当我使用flink结合rocksDB去管理后段状态的时候,发现指定的文件目录下生成一堆路径,(注意,因为我是本地测试,所以指定的是本地路径,但是部署到生产环境的时候需要制定hdfs路径)000009.sst以sst结尾的文件是RocksDB的数据存储文件,是二进制格式的。000003.loglog是预写日志文件,LSM架构引擎都是有预写日志的CURRENTCURRENT文件是一个文本文件,记录最近的MANIFESTIDENTITY存放当前rocksdb的唯一标识LOCKLOCK 进程的.

2021-06-23 15:53:33 1053 2

原创 maven突然发病 aliyun repository依赖找不到

总会有这种情况。。。特别奇怪,之前好好的,但是当你加入一个依赖要使用的时候,总是出来一片红字说找不到当前使用的包。。试了一下手动下载依赖,还是不行,而且不报错,你说气人不mvn cleanmvn install然后就想吧,你不是没依赖嘛,那我手动下载依赖,然后添加到maven仓库,点击jar下载然后在当前项目目录下mvn install:install-file -Dfile="/Users/luziyuan/Downloads/flink-connector-jdbc_2.12/1.12.

2021-06-18 16:21:17 53

原创 flink 出现报错 Timestamp monotony violated 怎么解决

16:14:43,781 WARN org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor - Timestamp monotony violated: -159096192 < 982926000我使用了 DataStream<Tuple3<String,String,Integer>> timedData = dataStream

2021-06-15 17:08:39 180

原创 服务器debian如何使用ssh免密登录

线上的服务器要使用怎么能够免密登录在本地生成公钥(生成公钥的时候不要设置密码,一路回车就可以) ssh-keygen -t rsa将生成的id_rsa.pub放到debian的/root/.ssh/中。如果你要让多个人可以登录到服务器,就需要将多个人的公钥都放到这个文件中然后cat ./id_rsa.pub >> ./authorized_keys然后可以在本地直接登录就发现不需要密码就可以直接登录了ssh root@ip其实在生产环境我们是不这样操作的,一般都是弄一个跳板

2021-06-07 13:24:06 122

原创 搭建服务器安装VMware ESXI实战笔记

最近要做一些数据分析相关的工作,需要自己搭建服务器。之前一直用的都是阿里云,腾讯云之类的云服务器,都是人家弄好,咱们吃现成的,现在终于可以自己造轮子了(吃半成品)~服务器:Dell的perc h720服务器磁盘:西部数据4T硬盘然后开机吧,开机之后第一步,就是要做RAID。什么是RAID?为什么要做RAID?是这样的,之前大容量的硬盘太贵了~根本没办法去直接购买单块的大容量硬盘,所以只能用大量的、相对廉价的磁盘进行有机组合,然后组成一个大容量的磁盘,随着时代的变化,大容量的磁盘已经开始广泛应

2021-06-04 23:20:40 229 3

原创 初识大数据开篇--kettle---初级

公司一直是一个信息化程度非常高的企业,一直致力于用数据推动去发展,所有大数据是一个绕不开的话题,数据会帮助一个企业快速的发展。。好啦不瞎扯淡了,最近看了好多关于大数据的知识,说到大数据当然离不开数据仓库、、python、、ETL等等一系列的辞藻。。。。而我今天要说的这个东西就是ETL的实践--------kttle。什么是ETL,在我看来ETL就是构建数据仓库的一个过程,负责将分布式、各种数据源中的数据、将一些关键数据抽取出来,到中间层进行清洗、转换、集成。最后放到数据仓库中,为分析做准备,其实ETL

2021-05-31 19:42:36 226 5

原创 服务器使用FinalShell上传文件的时候,不能上传解压后的文件

要给一个单独的服务器弄一个jdk环境,很简单,直接把jdk解压后的文件包上传到指定目录,然后将环境变量配置好,很奇怪-bash: java: command not found原本以为是文件权限的问题,可是看了半天,真不是,排除寻思是不是文件损坏了,重新上传一下。。。突然看到看到这里我就明白了原因可能如下:我直接上传的是解压后的文件夹,导致有部分文件莫名其妙没传上去,具体也不太清楚,究竟是防火墙原因?还是FinalShell的原因。文件不全导致jdk中没有许多东西,就算是设置好环境变量也无济

2021-05-21 15:43:28 742

原创 初识python----解决Django接口返回中文数据乱码成??

今天是第一次结识python,因为公司要做数据分析,然而招聘太难了~所以只能自行培养,本来go学习了一半都没做个项目,现在又要去做别的,有点难受,算了~加油搞吧,也算是又学习一门语言回归正题,相当简单只需要在views目录下最上面加一段话,让其变成UTF-8编码# -*-coding:utf-8 -*-解决~...

2021-05-11 16:31:18 91

原创 初识go语言---究竟为什么会出现all goroutines are asleep - deadlock!

很难过对于go的chan没理解透透的~该说不说,看了很多出现all goroutines are asleep - deadlock!的原因,但是内心还是不是很理解,不知道为什么看了很多的文章,但是就是不理解。所以今天一定要弄懂先看一下这段代码,之前一直有这种好奇:究竟为什么既有进chan的内容,又有出chan的内容,代码直接就会死在c <- 42func main() { c := make(chan int) c <- 42 // write to a ch

2021-05-07 19:11:09 19

原创 初识go语言---<<和>>分别表示什么

今天有个同事问我<<和>>是什么意思。。。如此简单的问题出自一个2年开发经验的嘴里略显尴尬。。还是总结一下吧。。简单的来说就是像左移位和像右移位比如说0010向左移1位就是0100,所左移位就是*2向右移位就是0001也就是/2那么简单的说其实就是3<<4 可以表示为3乘以2的4次方那么简单的说其实就是2>>3 可以表示为2除以2的3次方...

2021-05-07 11:32:10 80

原创 初识go语言---关于chan的理解

现在业务需要用到多线程与chan去配合使用来解决一定的问题。但是由于之前没太好好的了解过go的chan,导致产生了许多误区。这里简单做个笔记,日后继续补充首先chan分为有缓存的chan和无缓存的chan,有缓存的chan就是定义的chan有长度,当一些协程往进去存东西的时候,如果到达了最大长度,chan满了,就会被阻塞,停止存东西,直到拿东西的协程将东西拿走,chan有空间了以后才会继续存东西。无缓存的chan就是chan没有规定长度的chan,这个时候,如果没有从chan中拿东西的,或者没有给

2021-03-31 18:26:27 94

原创 初识go语言---为什么能将空struct赋值给interface,这样不空指针?

在了解iris框架的时候,经常看到有这样去写的使用一个空结构体作为接收器,来调用方法,有点好奇这样做有什么意义。就像下图这样,使用空结构体来作为接收器调用方法空结构体有以下几大特点,1、不占用内存地址。2、地址不变首先我们知道interface定义的是抽象方法,而下面的func是它的具体实现(这个和java差不多的意思),但是我们知道,在java中interface是没有办法实例化,因为他是抽象的。那么这个操作的作用是:首先NewEntraceRepository这个方法返回了一个空结构体的指

2021-03-08 16:35:54 2115

原创 初识go语言---go的值接收和指针接收有什么区别&&改变结构体属性的时候为什么一定要传指针变量

首先我们来看一个例子package mainimport "fmt"//go 的struct是值类型type user struct { name string email string}//使用值接受者func (u user) notify(){ fmt.Printf("Sending User Email To %s<%s>\n",u.name,u.email)}//使用指针接受者func (u *user) changeEmail(email string

2021-03-05 10:46:23 1659 2

原创 初识go语言---mac如何更新go sdk

好久之前装的go语言的sdk,好长时间没有使用导致版本过低,现在引入一些包以后就开始报错,需要更新go的版本。这简单啊直接下载go语言的包然后替换到原来的相对路径下就可以了1.删除原来的sdkcd /usr/loaclrm -rf go2.下载go 新版本sdk,你要是需要其他版本直接修改版本号就可以了https://dl.google.com/go/go1.15.darwin-amd64.tar.gz3.将下载的go版本替换到/usr/loaclsudo cp -r go /usr/loc

2021-02-26 14:33:34 4029

原创 synchronized的规则

上个文章介绍完了之后忘了一个东西synchronized,这个东西我觉得真真是很常用的,所以这里谈一下自己的见解。以下内容纯个人想法,如有偏差,评论区见第一synchronized可以加在方法,也可以给一段代码加锁,也就是说给这个代码的上面加把锁,然后结束加把锁,然后用2个锁将一段代码锁起来,但是我们知道线程跑不跑决定因素是cpu的时间段分配情况,那么如果明明一个线程进入到锁代码中,然后cpu时间片段片段正好到了,这个时候怎么办,这种情况下当前线程并不会放弃锁,而是一直等,直到等到cpu又分配到当前

2021-02-22 16:46:31 2374

原创 volatile和atomicInteger的区别

今天突然有个同事问我这个问题,我当时确实说实话有些苦笑不得,这个东西应该算是基础吧。我想他不知道,肯定大家有些人也都不知道,所以在这里总结一下。以下内容纯个人理解,如有偏差评论区见:atomicInteger可以保证变量的原子性volatile是在一个变量改变了以后通知其他所有线程,这个变量改变了。综上:atomicInteger的原子性可以保证多线程在操作变量使用方法incrementAndGet保证原子性,就是多线程的时候多个线程操作也保证变量不被减为负数,变量不能加的超过你规定的值。而我们

2021-02-22 14:36:24 3184

原创 使用java下载东西如何优化下载网速

之前要从腾讯云上下载一批视频,然后老板让优化一下速度,我心里很无语。。。。我说这怎么搞?网速不行,这怪我?服务器次?这怪我?平均下载速度只有10M/S(实际上是自己知识面太浅)经过一系列的操作后网速达到了40M/S的程度,在这里总结一下分享给大家。首先优化下载速度要从以下几个个方面考虑。1.网速是否榨干?这个怎么测试呢?在服务器上开启一个测速软件,开启了自己的下载程序后,直接从服务器上下载一个大文件,已经下载不动了,或者网速极慢,这个就说明网速已被榨干,这个自然而然已经有瓶颈了,说明你网速太次,这里

2021-02-12 19:04:00 3038 3

原创 socket怎么基于redis-mq实现分布式部署(笔记)

使用redis的mq功能,有信息发过来先存到redis的队列中。发消息的时候每台发一次,如果有这个人,就发给他,发了以后没有这个人也不影响,有需要拿消息,直接从mq中拿,拿到就发,虽然有丢包情况,但是根本不影响。...

2021-02-01 19:42:32 63

原创 关于socket 直播流炸的一些感悟

最近公司在使用socket搞一个内部会议系统,主要包括推流,广播,禁言等等的一些功能。由于观看人数800人第一天上线就炸了。。。。。。自己对于socket还是不太了解,自己学习了一段时间后的一些感悟。socket原来如此脆弱现在发现原来socket如此脆弱,在网络情况好的情况下,socket出现异常的情况较少,但是在连接数高了以后,就不一样,因为连接数高了以后,必然会出现一系列的网络问题。举一个简单的例子,当用户如果出现,网络不稳定,或者用户在高速移动的时候,这个时候网络基站会频繁更换,导致sock

2021-01-31 00:03:40 99

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除