![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
上官皓晨
这个作者很懒,什么都没留下…
展开
-
Spark的MapReduce
Spark的MapReduce相对是比较简单的,步骤如下: 先编写测试文件[zyf@hadoop ~]$ vi b.txt [zyf@hadoop ~]$ cat b.txt aaa bbb ccc fff aaa bbb bbb fff(1)、将本地文件或者HDFS上的文件通过sc.textFile(“/input/b.txt”)加载到RDD中 (2)、可以将RDD文件通过filter()函原创 2017-08-24 17:52:39 · 548 阅读 · 0 评论 -
Spark的安装配置以及初步测试
简单来说Spark就是专为大规模数据处理而 设计的快速通用计算引擎spark伪分布式安装配置 1、解压 $ tar -zxvf /opt/softwares/spark-1.6.1-bin-2.5.0-cdh5.3.6.tgz2、配置,添加属性 $ mv spark-env.sh.template spark-env.sh JAVA_HOME=/opt/modules/jdk1.7.0_79原创 2017-08-24 19:17:09 · 348 阅读 · 0 评论 -
分别用Java和Scala求PV,UV测试程序
求 PV,UV的程序还是比较简单 ,在mapreduce阶段也有相应的Java代码,其实本质都是一样的, 首先要准备一下要分析的数据,这里就不把数据贴上去了 !//Java代码 package com.zyf.myhadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration; import org.apa原创 2017-08-27 17:23:49 · 1133 阅读 · 0 评论