- 博客(3)
- 资源 (3)
- 收藏
- 关注
原创 MapReduce源码解析之Mapper
导读 说起MapReduce,只要是大数据领域的小伙伴,相信都不陌生。它作为Hadoop生态系统中的一部分,最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型。MapReduce主要由"Map(映射)"和"Reduce(归约)"组成,主要思想是用Map函数用来把一组键值对映射成一组新的键值对,然后指定并发的Reduce函数进行合并输出。然而就是这个简单的分布式思想,却...
2018-11-21 14:58:46 836
原创 sparkStreaming kafka学习笔记
1、bootstrap-servers 和 broker.list区别 查看源代码后发现broker.list是旧版本命令
2018-11-07 16:13:50 304
原创 sparkstreaming2.1-kafka-zk的scala程序pom.xm文件
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://
2018-11-06 14:20:15 539
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人