- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据学习笔记之Spark（一）：Spark基础
第1章Spark概述spark的产生背景spark是如何产生的，这要先送大数据说起，大数据是如何产生的？Google就是处理大数据的，网页和网页之间有很多的关联关系，为了处理排序啊这些算法，所以Google就发明了，Google就发布了三个论文，基于这三个论文的开源，实现了Hadoop、Hdfs、MapReduce、Hbase等，但是感觉好像每次MapReduce只能处理一次数据，而且...
2019-09-18 16:53:19
230
原创 9种版本的wordCount——scala、java、javaLamda、DataFrame、DataSet、Streaming、Streaming-SQL、Kafka
Scala版本的wordCountobject ScalaWordCount { def main(args: Array[String]): Unit = { if(args.length != 2){ println("Usage:cn.edu360.spark31.day01.ScalaWordCount <input><output>...
2018-09-12 20:48:27
342
原创 Kafka生产者和消费者的简单应用——01生产者
maven工程pom文件&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins
2018-09-12 14:23:20
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人