spark stream数据处理过程中不要去读hdfs文件

今天访问hdfs，偶然报错There are 0 datanode(s) running and no node(s) are excluded in this operation。然后就是提示主机端口50010连不上去。果断去查看50010的端口连接，发现好几万个端口连接状态为CLOSE_WAIT的。再去找进程，发现是spark stream的进程。
50010的端口连接是datanode的，主要是用来访问节点上的数据的，怎么会有这么多等待关闭的链接呢。
原来，在我写得程序中，有一部分配置是放在hdfs上，每处理一条数据就需要打开hdfs文件一次，而在用了之后，这样的链接还不会自己主动释放，而是等待应用程序主动关闭。
因此，这个就导致了hdfs访问时报没有活着的节点了。
一个datanode默认的访问链接在两万到三万之间，一旦超过了这个数值，就会导致hdfs不能再访问，也就会对别的使用到HDFS的应用产生影响。
比如我的flink是往这个hdfs上写数据的，发生了这个问题，flink的taskexecutor就提示java内存满了，从而导致taskexecutor进程退出。
因此，为了避免不必要的麻烦，不用sparkstream处理数据的过程中读取hdfs上的数据，实在需要读取，可以在程序启动之初就把配置加载进来，将配置读取放在数据处理之前。