- 博客(8)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 问题解决：spark程序运行过程中，集群线程过多，异常中断（Couldn't set up IO streams）
问题场景spark程序提交之后，运行之后，报错，报错提示如下：Caused by: java.io.IOException: Couldn't set up IO streams at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:826) at org.apache.had...
2020-02-27 23:12:56
2638
转载 转载：系统稳定性——OutOfMemoryError 常见原因及解决方法
系统稳定性——OutOfMemoryError 常见原因及解决方法作者：夏明（涯海）创作日期：2019-07-15专栏地址：【稳定大于一切】PDF 格式：系统稳定性——OutOfMemoryError常见原因及解决方法当 JVM 内存严重不足时，就会抛出 java.lang.OutOfMemoryError 错误。本文总结了常见的 OOM 原因及其解决方法，如下图所示。如有遗漏或错误...
2020-02-27 22:36:44
1522
原创 问题解决：scala.MatchError: 816356 (of class java.lang.Integer)
问题场景使用spark进行业务统计的时候，统计过程中触发这个问题，并导致程序异常退出问题环境spark 1.6scala 2.10.6jdk 1.7.0_79问题分析首先，先看看问题报错提示的具体代码，如下：hiveContext.createDataFrame(finalList, RowUtil.buildUserMdnSchema())从这里，我们就可以知道，要么是f...
2020-02-27 22:01:44
6628
原创 免费亚马逊服务器过期收费，申诉并得到解决
问题场景在去年的1月份，申请了亚马逊一年的免费服务器，在前面还用得不错，但是后来遇上国庆等节日，服务器就没办法访问了。后来就搁置了几个月没有去使用。等最近才发现可以使用了。今天登陆官网，想看看自己是什么时候到期。没想到，看到二月的账单，已经产生费用了，如下图然后才意识到自己的一年免费是到今年的1月结束。接下来就是解决方法了。解决方法1、终止服务器到控制台主页，将实例进行“终止”。可以先...
2020-02-26 23:59:12
4745
2
原创 spark程序优化之一：善用 persist 方法
场景在编写spark程序代码的时候，如果涉及大数据运算的时候，一次计算可能得几十分钟甚至一个小时以上，更极端的情况则是，一个较大的对象被多次使用，导致重复计算了很多次。这种做法就会消耗资源，也会浪费我们的时间。那么，针对这种情况，我们有什么方法来避免吗？嗯，很显然是有的，**那就是将这个多次计算的对象进行缓存，第一次缓存之后，下次就不使用就可以调用，节省重复计算的时间。当然，这个要分情况，对于计...
2020-02-17 23:13:04
4824
原创 hive udf error: overloaded method value format with alternatives:
场景spark开发udf的时候，有使用String.format函数，对数字进行格式化，结果运行报错报错提示error: overloaded method value format with alternatives: (x$1: java.util.Locale,x$2: String,x$3: <repeated...>[Object])String <and&g...
2020-02-13 16:01:12
2922
原创 问题解决：CDH集群-无法找到主机的NTP 服务,或该服务未响应时钟偏差请求
场景CDH集群启动成功，但是有某些主机提示“无法找到主机的NTP 服务,或该服务未响应时钟偏差请求”问题思路NTP服务没有正常启动CDH后台程序存在异常解决脚本先关闭CDH的服务，在界面进行关闭集群服务每台主机开启NTP服务systemctl restart ntpd 每台主机重启cloudera-scm-agent systemctl restart clo...
2020-02-10 23:56:50
4826
4
原创 问题解决：Idea运行提示：Command line is too long
问题提示Command line is too long. Shorten command line for TestHdfs or also for Application default configur解决方案在 .idea/workspace.xml的节点<component name="PropertiesComponent">下面新增：<property n...
2020-02-04 18:31:14
1558
图书销售管理系统
2014-07-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人