spark
关注
分享
扫一扫
superfatsheep
职位：java软件开发工程师，熟悉RTB领域，web前后端开发，以及大数据相关知识。一直在广州工作。
目前正在考虑介入人工智能领域（机器学习）。
展开
-
Spark 常见问题小结
问题导读 1、当前集群的可用资源不能满足应用程序的需求，怎么解决？ 2、内存里堆的东西太多了，有什么好办法吗？ 1、WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster uito ensure that workers are registered转载 2016-09-14 11:00:41 · 949 阅读 · 0 评论 -
spark-submit 报错 Initial job has not accepted any resources
spark-submit 报这样的错误 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources转载 2016-09-14 11:01:36 · 1472 阅读 · 1 评论 -
SparkSQL读取Hive中的数据
注意红色字。 ---------------------- 由于我Spark采用的是Cloudera公司的CDH，并且安装的时候是在线自动安装和部署的集群。最近在学习SparkSQL，看到SparkSQL on HIVE。下面主要是介绍一下如何通过SparkSQL在读取HIVE的数据。 （说明：如果不是采用CDH在线自动安装和部署的话，可能需要对源码进行编译，使它能够转载 2016-09-18 17:07:32 · 3978 阅读 · 0 评论