Spark实战
文章平均质量分 92
一起来实战Spark
程序员欣宸
微信公众号同名,畅游Java,与你同行~
展开
-
Mac部署spark2.4.4
在Mac系统安装spark,用于学习和开发原创 2019-10-27 13:38:40 · 1433 阅读 · 0 评论 -
IDEA开发Spark应用实战(Scala)
实战IDEA开发Scala版的Spark应用原创 2019-02-17 09:33:59 · 11949 阅读 · 4 评论 -
docker下的spark集群,调整参数榨干硬件
调整docker-compose编排的参数,充分发挥硬件信息能运行spark集群原创 2019-02-16 17:04:18 · 3445 阅读 · 10 评论 -
spark实战之:分析维基百科网站统计数据(java版)
在《寻找海量数据集用于大数据开发实战(维基百科网站统计数据)》一文中,我们了解了如何获取维基百科网站的网页点击量统计数据,并且介绍了数据格式的基本内容,本文以这些数据进行实战,练习基本的spark开发原创 2019-02-16 11:27:15 · 2869 阅读 · 1 评论 -
寻找海量数据集用于大数据开发实战(维基百科网站统计数据)
在学习spark的过程中,除了经典的WrodCount例子(用于统计文本文件中的单词出现次数),我们也在寻找其他海量数据来做更多实战以提高自己,今天介绍的是一个海量数据集的下载方法,以及数据内容的简介;关于维基百科网站统计数据数据的下载页面地址:https://dumps.wikimedia.org/other/pagecounts-raw今天要下载的数据集就是维基百科的统计数据,如下图,...原创 2019-02-10 22:11:58 · 3186 阅读 · 1 评论 -
docker下,极速搭建spark集群(含hdfs集群)
搭建spark和hdfs的集群环境会消耗一些时间和精力,今天咱们就借助docker,极速搭建和体验spark和hdfs的集群环境;原创 2019-02-10 01:48:23 · 11740 阅读 · 6 评论 -
部署Spark2.2集群(on Yarn模式)
部署Spark on Yarn集群原创 2019-02-09 13:50:40 · 3913 阅读 · 3 评论 -
第一个spark应用开发详解(java版)
java版的spark应用开发原创 2019-02-08 21:53:06 · 40516 阅读 · 5 评论 -
Linux部署hadoop2.7.7集群
在CentOS7环境下,hadoop2.7.7集群部署的实战原创 2019-02-08 15:01:12 · 5431 阅读 · 6 评论 -
部署spark2.2集群(standalone模式)
部署spark2.2集群(standalone模式)原创 2019-02-04 10:04:16 · 2994 阅读 · 0 评论 -
查看Spark任务的详细信息
在学习Spark的过程中,查看任务的DAG、stage、task等详细信息是学习的重要手段,在此做个小结;环境信息本文对应的环境信息如下:CentOS Linux release 7.5.1804JDK:1.8.0_191hadoop:2.7.7spark:2.3.2参考文档(准备环境用到)搭建hadoop、spark、运行耗时任务,请参考以下文章:部署hadoop:《Li...原创 2019-10-07 12:14:42 · 11747 阅读 · 0 评论