大数据
文章平均质量分 92
无名大盗
这个作者很懒,什么都没留下…
展开
-
spark DataFrame用法
最近用spark处理过一阵子日志,都是一些零零散散的临时需求,作为一个程序员,饱受查询之苦。在这个使用过程中,也渐渐对spark dataframe的使用摸索出了一些门道。读写与RDD的转换一些常见的SQL查询用法selectdf.select($"date".substr(0,10) as "date", $"page")用$"原创 2016-04-30 22:49:45 · 34261 阅读 · 2 评论 -
spark scala基础知识汇总
最近在搞spark,用scala来处理日志,并将日志格式化,存储为parquet文件。之所以选parquet,是考虑到比较省空间的优势。由于是刚接触,对很多操作都不熟练,花了一些时间在网上查,将结果记录在这。原创 2016-04-30 21:51:39 · 5013 阅读 · 2 评论