2021年07月_蓝奕世

原创 DNS解析笔记

学习笔记非技术文档最近大哥（我给他的别称，其实是我们的项目经理）自己做了一个dns服务器，然后建了一个vpn，然后只要我连接上了这个vpn就可以随意的访问内网的机器，这波操作让我对东西有了新的理解。。。他直接把所有的从机的ip都退了。然后在跳板机上搭建了一个vpn解决了这个问题。线下测试访问线上的服务器，直接连接vpn就可以，内网走网络的时候都使用路由走走跳板机的网络。。。我之前都是直接ssh做一个外网穿透。没想到还有这种方法。。好了不细细说这个事了。笔记内容：主要目的是总结dns。。因为之前也发生

2021-07-28 23:43:51 174

原创 CDH6 搭建hadoop如何测试hdfs功能

首先吐槽一句，CDH真的太难搭建了，里面各种小细节，一步错了，就会导致各种问题，不管怎么说，反正踩了各种坑，把CDH搭建起来了。下面来介绍一下如何测试HDFS的功能吧。。我这里使用maven去测试，首先安装依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId&gt

2021-07-27 11:41:55 360

原创 centos 的挂载和挂载点理解

文件系统容量已用可用已用% 挂载点devtmpfs 7.8G 0 7.8G 0% /devtmpfs 7.8G 0 7.8G 0% /dev/shmtmpfs 7.8G 8.7M 7.8G 1% /runtmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup/dev/vda1 40G 2.5G 35G

2021-07-24 23:53:20 2174

原创入站规则和出站规则

补充

2021-07-24 22:41:53 3488

原创 flink 报错is not serializable. The object probably contains or references non serializable fields.

今天有同事突然报了这样一个错误，刚开始确实没反应过来，成员变量不可以被序列化。。。。Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.lang.ref.ReferenceQueue$Lock@11fc564b is not serializable. The object probably contains or references non serializable fields.

2021-07-21 21:25:24 14873 5

原创 maven仓库在收到导入jar包成功后，IDEA提示找不到

其实这个问题比较蠢，但是当出现的时候还是比较懵圈，所以这里把排查问题的过程总结一下1.为什么需要手动导入maven仓库依赖？当我们在电脑没有翻墙的情况下去中央仓库下载依赖会非常非常的慢，而且很有可能导致下载的包有问题，其实还是网络的问题，这个时候手动将jar包导入maven仓库就变得很快捷。2.我在使用flink的redissink的时候遇到一些问题，就是我无法自定义ttl参数来控制键的过期时间，这样就需要将flink-connector-redis_2.11包完整的下载到本地，然后修改源代码，进行

2021-07-14 11:24:48 1313

原创 log4j报错Please initialize the log4j system properly.

log4j:WARN No appenders could be found for logger (org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more in

2021-07-12 19:27:31 806 1

原创有选择的人从来都谈不上落魄，过着没有选择，不得已的生活才叫落魄

工作是为了赚钱，赚钱为了让自己能够体面一点，为什么有人会觉得低门槛的工作不体面呢，工作能有钱赚，如果是自己喜欢的事情，那就更好了，赚钱才是人最体面的事情，如果只在意过程上的体面，那是无意义的，我们也不需要在意别人我们在过程上的看法，这是一个只看结果的时代。在这个时代，能认清出自己喜欢什么，认清自己适合什么，本身就是一件很不容易的事情了。加油，陌生人，希望你能找到自己的目标。...

2021-07-12 14:19:20 93

原创 flink-界面知识总结

1.Available Task Slots究竟是干什么用的翻译过来就是可用任务槽，当我们使用flink的页面启动了一个任务后就会发现这个东西会变为0，当没有Available Task Slots的时候再启动任务就会报错，没有可用的Slots看来要想任务顺利执行，首先要保证slot数量够用，目前机器内存是够用的，那么就把slot数量调大些吧根据官方文档的指导，应该修改conf目录下的flink-conf.yaml文件中taskmanager.numberOfTaskSlots的值，如下图红框所示，文档

2021-07-01 23:35:29 2152 2

水镜先生的博客