- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark DataFrame用法
最近用spark处理过一阵子日志，都是一些零零散散的临时需求，作为一个程序员，饱受查询之苦。在这个使用过程中，也渐渐对spark dataframe的使用摸索出了一些门道。读写与RDD的转换一些常见的SQL查询用法selectdf.select($"date".substr(0,10) as "date", $"page")用$"
2016-04-30 22:49:45
34260
2
原创 spark scala基础知识汇总
最近在搞spark，用scala来处理日志，并将日志格式化，存储为parquet文件。之所以选parquet，是考虑到比较省空间的优势。由于是刚接触，对很多操作都不熟练，花了一些时间在网上查，将结果记录在这。
2016-04-30 21:51:39
5013
2
原创 Ubuntu安装攻略
这篇文章，写给有兴趣了解及接触Ubuntu系统的人。为什么选择Ubuntu博主程序员，最早接触电脑用的是Windows，就办公娱乐而言，个人还是觉得Windows是最好用的系统。虽然它的补丁不计其数，但这不妨碍它的流行。后来接触到Ubuntu，以及Linux、Unix系列的系统，主要原因还是在于很多科研上的软件和工具都是基于此类系统的，据说是在国外，Linux及Unix系列挺普及的。工作后
2016-04-04 23:10:58
733
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人