水镜先生的博客

flink报错NoResourceAvailableException: Could not acquire the minimum required resources意思是:没有可以使用的资源。。那么究竟什么资源没有可以被使用了？一般都是说内存吧。所以我们给他调整内存的参数。以下是flink配置参数可以使用的一些配置选项因为我们的内存是16G的服务器，所以我现给调整为以下参数看看，试一试，看是否报错。jobmanager.memory.process.size: 2600mtaskmana

学习笔记非技术文档最近大哥（我给他的别称，其实是我们的项目经理）自己做了一个dns服务器，然后建了一个vpn，然后只要我连接上了这个vpn就可以随意的访问内网的机器，这波操作让我对东西有了新的理解。。。他直接把所有的从机的ip都退了。然后在跳板机上搭建了一个vpn解决了这个问题。线下测试访问线上的服务器，直接连接vpn就可以，内网走网络的时候都使用路由走走跳板机的网络。。。我之前都是直接ssh做一个外网穿透。没想到还有这种方法。。好了不细细说这个事了。笔记内容：主要目的是总结dns。。因为之前也发生

首先吐槽一句，CDH真的太难搭建了，里面各种小细节，一步错了，就会导致各种问题，不管怎么说，反正踩了各种坑，把CDH搭建起来了。下面来介绍一下如何测试HDFS的功能吧。。我这里使用maven去测试，首先安装依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId&gt

今天有同事突然报了这样一个错误，刚开始确实没反应过来，成员变量不可以被序列化。。。。Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.lang.ref.ReferenceQueue$Lock@11fc564b is not serializable. The object probably contains or references non serializable fields.

1.Available Task Slots究竟是干什么用的翻译过来就是可用任务槽，当我们使用flink的页面启动了一个任务后就会发现这个东西会变为0，当没有Available Task Slots的时候再启动任务就会报错，没有可用的Slots看来要想任务顺利执行，首先要保证slot数量够用，目前机器内存是够用的，那么就把slot数量调大些吧根据官方文档的指导，应该修改conf目录下的flink-conf.yaml文件中taskmanager.numberOfTaskSlots的值，如下图红框所示，文档

当我使用flink结合rocksDB去管理后段状态的时候，发现指定的文件目录下生成一堆路径，（注意，因为我是本地测试，所以指定的是本地路径，但是部署到生产环境的时候需要制定hdfs路径）000009.sst以sst结尾的文件是RocksDB的数据存储文件，是二进制格式的。000003.loglog是预写日志文件，LSM架构引擎都是有预写日志的CURRENTCURRENT文件是一个文本文件，记录最近的MANIFESTIDENTITY存放当前rocksdb的唯一标识LOCKLOCK 进程的.

16:14:43,781 WARN org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor - Timestamp monotony violated: -159096192 < 982926000我使用了 DataStream<Tuple3<String,String,Integer>> timedData = dataStream

最近了解一些大数据知识，自己尝试着搭建hadoop集群，但是遇到了很多坑，总结一下。hadoop-daemon.sh开启集群，设置了3台虚拟机来当作集群，在master节点通过jps命令查看，看到3台集群的DataNode，NameNode、SecondaryNameNode都已启动，在slave节点通过jps命令查看，每台服务器的东西都启动成功。但是在图形化界面上看只有一个DataNode，...

我想将一台服务器上配置好的hadoop复制到另一台机器上。执行的命令是scp -r hadoop101:/opt/module/hadoop-2.7.2 hadoop102:/opt/module报告以下错误因为打印出来的内容是scp: /opt/module/hadoop-2.7.2: Permission denied我一直以为是当前需要复制的源文件没有权限，不能被复制，于是给其修...