错误处理
Little_FF
这个作者很懒,什么都没留下…
展开
-
Spark学习中连接hdfs用户名设置问题
Spark学习中连接hdfs用户名设置问题众所周知,连接hdfs时需要利用System.setProperty("HADOOP_USER_NAME", "hadoop")将本机的用户名设置成hadoop集群的用户名,我所使用的用户名是hadoop,但是程序运行时报错,Permission denied: user=littleff, access=WRITE, inode="/check":h...原创 2019-04-06 15:36:24 · 4718 阅读 · 1 评论 -
Spark学习中,遇到了无法使用partitionBy()方法的问题
Spark学习中,遇到了无法使用partitionBy()方法的问题,idea无提示,显示没有此方法,解决过程, val rdd3 = rdd2.map(t => { val url = t._1 val host = new URL(url).getHost (host, (url, t._2)) })其中 (host, (url,...原创 2019-04-03 18:48:50 · 1539 阅读 · 1 评论