- 博客(5)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 SparkTask未序列化(Tasknotserializable)问题分析
问题描述及原因分析在编写Spark程序中，由于在map等算子内部使用了外部定义的变量和函数，从而引发Task未序列化问题。然而，Spark算子在计算过程中使用外部变量在许多情形下确实在所难免，比如在filter算子根据外部指定的条件进行过滤，map根据相应的配置进行变换等。为了解决上述Task未序列化问题，这里对其进行了研究和总结。 出现“org.apache.spark.S
2016-04-21 10:39:15
32238
10
转载 Hive JSON数据处理的一点探索
背景 JSON是一种轻量级的数据格式，结构灵活，支持嵌套，非常易于人的阅读和编写，而且主流的编程语言都提供相应的框架或类库支持与JSON数据的交互，因此大量的系统使用JSON作为日志存储格式。 使用Hive分析数据（均指文本）之前，首先需要为待分析的数据建立一张数据表，然后才可以使用Hive SQL分析这张数据表的数据。这就涉及到我们如何把一行文本数据映射为数据表的列，常规的方式有两种： （1
2016-04-19 22:19:01
7023
1
转载 2015年腾讯移动应用质量大数据报告
2015年腾讯移动应用质量大数据报告标签： android移动应用ios平台2016-04-08 15:02 4075人阅读 评论(2) 收藏 举报 分类： 精神哥系列-Android异常（4） 小萝莉系列-iOS异常（3） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]
2016-04-10 16:38:09
679
转载 Java Code Examples for net.sf.jsqlparser.statement.select.Union
The following are top voted examples for showing how to use net.sf.jsqlparser.statement.select.Union. These examples are extracted from open source projects. You can vote up the examples you like an
2016-04-08 09:23:36
2504
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人