![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据 Spark
yery
这个作者很懒,什么都没留下…
展开
-
改写Spark JdbcRDD,支持自己定义分区查询条件
自定义Spark JdbcRDD,支持更全面的自定义查询原创 2015-02-06 11:58:29 · 3347 阅读 · 0 评论 -
Spark使用体会
Spark使用体会原创 2015-01-20 15:26:47 · 894 阅读 · 0 评论 -
Spark典型案例
本文以AIX系统中的nmon文件为例,说明spark针对数据分析的典型用法。希望能帮助大家用spark的方式来思考问题。原创 2015-05-04 23:40:29 · 3083 阅读 · 1 评论 -
hive与hadoop、spark集成方案实践
这几天我尝试了hadoop+spark+hive+mysql集成方案: 1. Hadoop: 提供HDFS服务 2. Spark: 实现map-reduce分析算法 3. Hive提供Spark计算的来源数据 4. Mysql存放Hive的元数据,以及计算的最终结果 首先,我把需要处理的原始数据文件临时存放在hdfs上,文件名是随机产原创 2015-05-05 10:09:13 · 3886 阅读 · 0 评论