大数据
豪猪不挡道
这个作者很懒,什么都没留下…
展开
-
个人总结-Spark运行异常问题汇总
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.$ vim /etc/profile#添加以下两句话export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport YARN_CONF_原创 2020-07-17 11:04:50 · 6058 阅读 · 3 评论 -
个人总结-Spark-SQL之DataFrame的使用
DataFrame详解环境:spark 2.4.0slaca :2.12以上创建DataFrame的几种方式第一种:rdd 转DFimport session.implict._val df= rdd.toDF(#columnName)第二种 /** * 创建一个空的DataFrame,代表用户 * 有四列,分别代表ID、名字、年龄、生日 */ val colNames = Array("id", "name", "age", "birth")原创 2020-07-17 11:00:05 · 382 阅读 · 0 评论