【Dolphinscheduler】DS资源中心上传比较大的文件内存溢出

1、问题描述

        在DS资源中心上传比较大的文件时,页面加载100%,但是一直在loading,后台dolphinscheduler-api-server.log报内存溢出错误:

java.lang.OutOfMemoryError: Java heap space
	at java.util.Arrays.copyOf(Arrays.java:3236)
	at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:118)
	at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93)
	at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:135)
	at org.eclipse.jetty.util.MultiPartInputStreamParser$MultiPart.write(MultiPartInputStreamParser.java:177)
	at org.eclipse.jetty.util.MultiPartInputStreamParser.parse(MultiPartInputStreamParser.java:810)
	at org.eclipse.jetty.util.MultiPartInputStreamParser.getParts(MultiPartInputStreamParser.java:491)
	at org.eclipse.jetty.server.MultiParts$MultiPartsUtilParser.<init>(MultiParts.java:121)
	at org.eclipse.jetty.server.Request.newMultiParts(Request.jav
  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
1. 下载并安装Hadoop 下载Hadoop并解压缩到指定目录,配置Hadoop环境变量。 2. 下载并安装Zookeeper 下载Zookeeper并解压缩到指定目录,配置Zookeeper环境变量。 3. 下载并安装FastDFS 下载FastDFS并解压缩到指定目录,配置FastDFS环境变量。 4. 配置FastDFS 在FastDFS的安装目录下找到conf目录,将tracker.conf和storage.conf复制到另一个目录下作为配置文件。 修改tracker.conf和storage.conf配置文件中的IP地址和端口号。 启动tracker和storage服务: 进入FastDFS的安装目录,执行以下命令: ./trackerd /etc/fdfs/tracker.conf start ./storaged /etc/fdfs/storage.conf start 5. 配置dolphinscheduler 进入dolphinscheduler的安装目录,编辑conf/dolphinscheduler.properties文件。 配置资源中心相关属性: ``` # resource center properties ds.resourcemanager.url=http://localhost:8032 ds.resourcemanager.scheduler.address=http://localhost:8030 ds.resourcemanager.webapp.address=http://localhost:8088 ds.resourcemanager.webapp.https.address=https://localhost:8090 ds.resourcemanager.principal=hadoop/_HOST@EXAMPLE.COM ds.resourcemanager.keytab=/etc/security/keytabs/hdfs.headless.keytab ds.resourcemanager.default.queue=root.default ds.resourcemanager.fs.defaultFS=hdfs://localhost:9000 ds.fastdfs.tracker_servers=192.168.1.100:22122 ds.fastdfs.connect_timeout=5000 ds.fastdfs.network_timeout=30000 ds.fastdfs.charset=UTF-8 ds.fastdfs.http_anti_steal_token=false ds.fastdfs.http_secret_key=FastDFS1234567890 ds.fastdfs.http_tracker_http_port=8080 ds.fastdfs.tracker_http_port=8080 ds.fastdfs.http_tracker_https_port=8081 ds.fastdfs.tracker_https_port=8081 ``` 其中: - ds.resourcemanager.url:Hadoop的ResourceManager地址。 - ds.resourcemanager.scheduler.address:Hadoop的ResourceManager的scheduler地址。 - ds.resourcemanager.webapp.address:Hadoop的ResourceManager的webapp地址。 - ds.resourcemanager.webapp.https.address:Hadoop的ResourceManager的https地址。 - ds.resourcemanager.principal:Hadoop的ResourceManager的Kerberos principal。 - ds.resourcemanager.keytab:Hadoop的ResourceManager的Kerberos keytab文件路径。 - ds.resourcemanager.default.queue:Hadoop的ResourceManager的默认队列。 - ds.resourcemanager.fs.defaultFS:Hadoop的FileSystem的默认FileSystem。 - ds.fastdfs.tracker_servers:FastDFS的tracker服务器地址,多个地址用逗号分隔。 - ds.fastdfs.connect_timeout:FastDFS客户端连接超时时间,单位为毫秒。 - ds.fastdfs.network_timeout:FastDFS客户端网络超时时间,单位为毫秒。 - ds.fastdfs.charset:FastDFS客户端字符集。 - ds.fastdfs.http_anti_steal_token:FastDFS客户端是否开启防盗链。 - ds.fastdfs.http_secret_key:FastDFS客户端的secret_key。 - ds.fastdfs.http_tracker_http_port:FastDFS的tracker服务器的http端口。 - ds.fastdfs.tracker_http_port:FastDFS的tracker服务器的http端口。 - ds.fastdfs.http_tracker_https_port:FastDFS的tracker服务器的https端口。 - ds.fastdfs.tracker_https_port:FastDFS的tracker服务器的https端口。 6. 启动dolphinscheduler 进入dolphinscheduler的bin目录,执行以下命令: ./dolphinscheduler-daemon.sh start resourcemanager 启动成功后,可以访问http://localhost:12345/resourcemanager进行资源中心的管理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

郝少

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值