Spark
瑜登java进阶
java架构师,10年互联网行业经验。曾就职于平安银行、阿里等大型互联网公司。欢迎交流!
展开
-
Spark java 排序
需求描述:对文本中数据记录进行排序,如果第一行数据记录相同,则根据第二行数据进行排序 编程思想描述:首先,将需要将待排序的字段封装成一个类,该实现了Ordered和Serializable 接口,实现接口中的方法。同时为待排序的属性字段提供getter 、setter 、hashcode 以及 equals 方法。在application 应用程序中 将key 封装为之前我们定义好的对象,之原创 2017-03-27 15:47:35 · 357 阅读 · 0 评论 -
Spark快速入门指南 – Spark安装与基础使用
Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce 的处理速度快 100 倍。此外,Spark 提供了简单易用的 API,几行代码就能实现 WordCount。本教程主要参考官网快速入门教程,介绍了 Spark 的安装,Spark shell 、RDD、原创 2017-04-20 15:31:41 · 896 阅读 · 0 评论 -
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统。如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoop教程。 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,例如 Hadoop 2.7.1, Hadoop 2.4.1等。 Hadoop版本原创 2017-04-20 15:33:12 · 268 阅读 · 0 评论 -
Hadoop安装教程_分布式配置_Hadoop2.6.0/Ubuntu14.04
本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行原创 2017-04-20 15:39:23 · 466 阅读 · 0 评论 -
Spark Hadoop Kafka 部署安装文档
SPARK集群 端口使用整理 服务 端口 备注 spark-master 7077 spark-slave hadoop-master 9000 kafka-zookeeper 2181 kafka-ma原创 2017-04-21 17:31:02 · 1731 阅读 · 0 评论