大数据
文章平均质量分 65
qq_35660280
这个作者很懒,什么都没留下…
展开
-
SparkSql学习之DataFrame
spark中几种数据类型:spark数据处理的过程,就是将数据以某种格式(txt,json,csv,parquet,mysql,hive,Hbase)导入,也就是read过程,对数据进行一定的处理之后,以用户想要的格式导出,也就是write过程。RDDDataFrameDataset其中RDD可转化为DataFrame,DataFrame可以转化为Datasets,其中Data...原创 2018-09-01 11:41:13 · 255 阅读 · 0 评论 -
Spark2.2.2+Scala2.11.8+Intellij IDEA安装和开发
我的这篇博客是参照其他博客,我只是吧其中踩过的一些坑,详细写了一下,可以先看我的博客,然后具体的一些安装可以参照如下博客:安装spark和scala参照博客:https://blog.csdn.net/quiet_girl/article/details/75585709配置IDEA参照博客:https://www.jianshu.com/p/a5258f2821fc一定要先安装好你的...原创 2018-08-21 18:36:24 · 5914 阅读 · 1 评论