u010739163的博客

DS调度框架问题1. java.nio.file.NoSuchFileException: /tmp/dolphinscheduler/exec/process/4/3912/2533/6642/3912_2533_6642_node.sh权限问题，租户对应的操作/tmp/dolphinscheduler/exec/process/4/3912/2533/6642目录的用户不一致2. 任务一直在运行Ambari默认内存是8G，导致少量任务使用完了所有的yarn内存，其他任务...

最低Java版本从7升级到8 引入纠删码(Erasure Coding)主要解决数据量大到一定程度磁盘空间存储能力不足的问题.HDFS中的默认3副本方案在存储空间中具有200%的额外开销。但是，对于I/O活动相对较少冷数据集，在正常操作期间很少访问其他块副本，但仍然会消耗与第一个副本相同的资源量。纠删码能勾在不到50%数据冗余的情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自然而然，也是未来的趋势.重写了Shell脚本重写了Shell脚本，修改了之前版本长期存在的一