![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 92
程序员欣宸
微信公众号同名,畅游Java,与你同行~
展开
-
部署spark2.2集群(standalone模式)
部署spark2.2集群(standalone模式)原创 2019-02-04 10:04:16 · 2945 阅读 · 0 评论 -
Linux部署hadoop2.7.7集群
在CentOS7环境下,hadoop2.7.7集群部署的实战原创 2019-02-08 15:01:12 · 5392 阅读 · 6 评论 -
第一个spark应用开发详解(java版)
java版的spark应用开发原创 2019-02-08 21:53:06 · 40314 阅读 · 5 评论 -
部署Spark2.2集群(on Yarn模式)
部署Spark on Yarn集群原创 2019-02-09 13:50:40 · 3877 阅读 · 3 评论 -
spark实战之:分析维基百科网站统计数据(java版)
在《寻找海量数据集用于大数据开发实战(维基百科网站统计数据)》一文中,我们了解了如何获取维基百科网站的网页点击量统计数据,并且介绍了数据格式的基本内容,本文以这些数据进行实战,练习基本的spark开发原创 2019-02-16 11:27:15 · 2768 阅读 · 1 评论 -
docker下,极速搭建spark集群(含hdfs集群)
搭建spark和hdfs的集群环境会消耗一些时间和精力,今天咱们就借助docker,极速搭建和体验spark和hdfs的集群环境;原创 2019-02-10 01:48:23 · 11665 阅读 · 6 评论 -
docker下的spark集群,调整参数榨干硬件
调整docker-compose编排的参数,充分发挥硬件信息能运行spark集群原创 2019-02-16 17:04:18 · 3386 阅读 · 10 评论 -
寻找海量数据集用于大数据开发实战(维基百科网站统计数据)
在学习spark的过程中,除了经典的WrodCount例子(用于统计文本文件中的单词出现次数),我们也在寻找其他海量数据来做更多实战以提高自己,今天介绍的是一个海量数据集的下载方法,以及数据内容的简介;关于维基百科网站统计数据数据的下载页面地址:https://dumps.wikimedia.org/other/pagecounts-raw今天要下载的数据集就是维基百科的统计数据,如下图,...原创 2019-02-10 22:11:58 · 3129 阅读 · 1 评论 -
IDEA开发Spark应用实战(Scala)
实战IDEA开发Scala版的Spark应用原创 2019-02-17 09:33:59 · 11853 阅读 · 4 评论