spark
民谊玉超
make the change!
展开
-
idea编写spark代码涉及到与hdfs用户权限不匹配
修改代码中用户与hdfs保持一致 System.setProperty("HADOOP_USER_NAME","weishu") 通过设置idea中的vm参数原创 2020-12-22 15:19:57 · 390 阅读 · 0 评论 -
SparkStreaming测试无法消费socket中数据
消费socket代码逻辑 object SparkStreaming01_WordCount { def main(args: Array[String]): Unit = { //此处的local必须大于1才能生效 //Spark配置对象 val sparkConf = new SparkConf().setAppName("SparkStreaming01_WordCount").setMaster("local[2]"); //实时数据分析环境对象 /原创 2020-12-10 16:24:00 · 248 阅读 · 0 评论