- 博客(2)
- 收藏
- 关注
RSS订阅原创 记录spark rdd内存溢出的一次问题
通过debug发现rdd的时候使用row对象就会创建 GenericRowWithSchema，而row.getAs 也会创建 GenericRowWithSchema ，尤其是row.getValueMap 有多少字段创建多少GenericRowWithSchema。这是导致GenericRowWithSchema创建多的原因。尽量少用getValueMap,rdd的每一次map也会多创建一次GenericRowWithSchema，所以能一次map搞定，不要多次map搞。
2023-12-22 11:22:11
383
原创 记录 docker-compose build 的一次过程
这是docker-compose.yaml的内容，network 参数要搭配 version: "3.4"使用。docker-compose build 然后 因为网络原因build 剧慢。2.让maven打包使用代理 这是build 的Dockerfile 内容。我自己也有梯子，奈何 build 使用maven 构建包的时候不走梯子。这样使用mvn clean & install 的时候就走代理了。1.让容器使用宿主机的网络，让梯子的端口映射到容器内。解决思路，让容器内使用梯子。
2023-11-02 11:30:21
114
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人