自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

huonan_123的博客

huo_火力全开 CSDN认证博客专家 CSDN认证企业博客

码龄7年

暂无认证

75: 原创

6万+: 周排名

187万+: 总排名

16万+: 访问

: 等级

1919: 积分

22: 粉丝

43: 获赞

18: 评论

217: 收藏

私信

关注

分类专栏

MySQL 1篇
OGG 5篇
Oracle 1篇
Java 4篇
大数据 14篇
JVM 1篇
数据库
Hadoop 6篇
Linux 3篇
YARN 2篇
sqoop 3篇
Hive 13篇
Spark 14篇
HDFS 7篇
Spark Streaming 7篇
Flink 3篇
IDEA 2篇
集群部署 7篇
Flume 3篇
Kafka 4篇
面试-笔试 1篇
权限 2篇

最新评论

阿里云Hadoop集群部署防火墙配置
阿布的进击: 没少中挖矿病毒吧
OGG 同步Oracle 无主键表到Kafka
莫失莫忘丶: 请问下主键显示全字段如何解决的呢
spark-submit 提交到yarn上报错:NN上的资源不够用:Resources are low on NN.
lmw0320: 请教下大佬：我使用pyspark --master yarn进入交互环境后，逐步执行py代码，可以正常获取到hbase的相关数据。而且执行过程中，可以在hadoop的cluster界面，看到相应的任务进程。而用spark-submit test.py --master yarn来提交相同的py代码执行，却一直提示资源无法获取。同时，却无法在hadoop的cluster界面看到相应的任务进程。如果我强制结束该运行命令，在Spark的History Server的提交记录中却看到了该任务。。这种情况是怎么回事呢?？我哪里配置不正确了？有人说是yarn配置不对，但是具体是哪个不对呢。。恳请指点迷津~~
Spark spark-submit 提交的几种模式
lmw0320: 请教下，如果我是用pyspark交互环境下进入yarn模式，可以正常连接hbase获取数据。而如果用spark-submit提交完整的py代码，则会报这个资源不足的提示：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 进入pyspark的时候命令是pyspark --master yarn，我并没有指定相应的worker内存。。同样的，我用spark-submit提交的时候，也是没有指定： spark-submit --master yarn test.py 结果却一直无法获取到数据。RM的UI页面上，我也没有看到相应的任务在执行。。而我强制结束该spark-submit任务时，在Spark Server的提交记录中却看到了该任务。。求指点下，如何解决。。
Spark Streaming Demo练习
商俊超: 楼主您好，我为啥没有SparkSessionSingleton这个？

IDEA

关注

关注数：文章数：2 文章阅读量：5456 文章收藏量：3

作者: huo_火力全开

吃得苦中苦，方位人上人

展开

huonan_123的博客

IDEA

作者: huo_火力全开

IDEA 本地开发 Spark Streming 日志输出太多影响查看输出 INFO改为ERRO

在IDEA 本地开发调试spark程序报错java.lang.NullPointerException