spark
关注
分享
扫一扫
文章平均质量分 72
poordicky
这个作者很懒，什么都没留下…
展开
-
spark中处理dataframe往往遇到”...cannot be cast to ...”这种数据不匹配的问题
spark处理dataframe数据时，往往遇到"...cannot be cast to ..."这种数据不匹配的问题，主要是因为我们代码中spark指定的数据类型和数据源类型不一致。这里以MySQL为数据源为例。一、读取数据格式匹配MySQL表的创建语句指定的数据类型有decimal、varchar、datetime等。CREATE TABLE `customfieldvalue` (...原创 2018-04-03 11:50:16 · 38000 阅读 · 1 评论 -
查看spark任务日志的几种方式
spark运行的任务往往通过web来查看，但是，当运行的是sparkStreaming任务时，日志往往会很大，web查看并不方便，因此需要定位到服务器上去看。下面将分别介绍两种查看driver端和executor端日志的方式。一、web端日志的查看：下面是四个yarn调度spark任务的web总界面：点击第一个任务：application_1509845442132_3866 进入下面界...原创 2018-04-13 17:48:08 · 38524 阅读 · 4 评论