![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
初级篇--spark
白马长枪儒雅将
这个作者很懒,什么都没留下…
展开
-
Intellij IDEA开发(local模式)提交运行Spark代码
这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序: 1 首先下载Intellij IDEA 地址: https://www.jetbrains.com/idea/download/#section=windows 点击相应的 window 下载 2 下载之后创建工程和类 (温馨提示 :在写这个程序程序之前请把所需要的jar包原创 2016-05-02 21:20:37 · 14953 阅读 · 0 评论 -
Hadoop经典案例Spark实现(一)——通过采集的气象数据分析每年的最高温度
1、原始数据分析0067011990999991950051507004888888889999999N9+00001+99999999999999999999990067011990999991950051512004888888889999999N9+00221+999999999999999999999900670119909999919500515180048888888...原创 2016-06-29 17:18:07 · 2113 阅读 · 0 评论 -
spark 学习笔记1
本人在虚拟机上搞的时候,没遇到过但是在实体机上整的时候,遇到了,jps的时候,每一台上都出现了worker的信息,master也出现了,但是不幸的是,8080页面显示:worker为0,页面上出现与预知情况不相符的时,第一件事就是关闭防火墙!!!解决方案:1 确定SSH 好使,不要偷懒,一台一台的试试。2 确定防火墙全部关闭不要偷懒,一个一个的都关闭了!!! master worker都给原创 2016-06-29 17:17:17 · 455 阅读 · 0 评论 -
Spark算子系列文章
Spark算子:RDD基本转换操作(1)–map、flagMap、distinctSpark算子:RDD创建操作Spark算子:RDD基本转换操作(2)–coalesce、repartitionSpark算子:RDD基本转换操作(3)–randomSplit、glomSpark算子:RDD基本转换操作(4)–union、intersection、subtract转载 2016-06-29 17:15:33 · 1080 阅读 · 0 评论 -
全球气象数据下载
http://f.dataguru.cn/thread-199308-1-1.html转载 2016-06-13 22:36:08 · 12083 阅读 · 0 评论 -
简单SparkRDD单词计数操作
1 工具IDEA2 添加jar依赖3 spark的local模式在自己电脑下创建文件:E://sparktext//text.txt然后写入:hadoophbasehadoophelloworldhivehivehellosparksparkmapreduce1 代码import org.apache.spark.{SparkConf原创 2016-05-14 23:43:09 · 7696 阅读 · 0 评论 -
Spark 应用开发程序
目 录1 绪论 1 1.1 项目背景 1 1.1.1 Hadoop的发展 1 1.1.2 Spark的兴起 2 1.2 项目意义 2 2 Hadoop云计算环境的搭建 3 2.1 准备工作 3 2.2 环境说明 3 2.3 网络环境配置 4 2.4 SSH无密码验证登陆 5 2.5 Master上安装JDK 6 2.6 Mas原创 2017-03-25 15:15:52 · 2301 阅读 · 0 评论