spark
SoWhat1412
微信搜索【SoWhat1412】,第一时间阅读原创干货文章。人之患、在好为人师、不实知、谨慎言。点点滴滴、皆是学问、看到了、学到了、便是收获、便是进步。
展开
-
第四天:Spark Streaming
Spark Streaming概述 1. Spark Streaming是什么 Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、join、window等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。 和Spark基于RDD的概念很相似,Spark Streaming使用离散化流(discret原创 2020-07-02 07:45:29 · 642 阅读 · 1 评论 -
第三天:SparkSQL
第1章 Spark SQL概述 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和 DataSet,并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduc的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!原创 2020-06-30 20:08:37 · 787 阅读 · 2 评论 -
第二天:Spark Core
Java IO回忆 字节跟字符区别,InputStream、OutputStream、Writer、Reader 。 字节流,分2种: a.输入 b.输出 2.字符流,也分2种: a.输入(读,即读取) b.输出(写,即写入) PS: 字节流是万能的,方便人类读写才出来的字符流。字符流就包装后的字节流。 文件字节流读入 InputStream in = new FIleInputStream("xxx") 缓冲流, 体现了Java装饰者模式 InputStream bufferIn = new原创 2020-06-29 10:16:44 · 721 阅读 · 0 评论 -
第一天:spark基础
Hadoop体系回顾 Hadoop 的概念可追溯到 2003,2004 Google2篇论文(老版三辆马车),2011年发布1.0版本,2012年发布稳定版。 Hadoop 在2.0版本之前组件主要是 HDFS跟MapReduce。 1.0版本框架主要如下: 职责: HDFS负责文件存储 MapReduce负责资源调度跟计算 缺点: mr基于数据集的计算,所以面向数据 基本运算规则从存储介质中获取(采集)数据,然后进行计算,最后将结果存储到介质中,所以主要应用于一次性计算,不适合于数据挖掘和机器学原创 2020-06-12 17:57:10 · 801 阅读 · 0 评论 -
GraphX 学习笔记
不错的link Spark GraphX是一个分布式图处理框架,Spark GraphX基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口,极大的方便了大家对分布式图处理的需求。Spark GraphX由于底层是基于Spark来处理的,所以天然就是一个分布式的图处理系统。图的分布式或者并行处理其实是把这张图拆分成很多的子图,然后我们分别对这些子图进行计...原创 2019-10-23 15:19:59 · 1316 阅读 · 1 评论 -
【spark】windows spark 环境搭建
Windows平台环境搭建 JDK 1.8-8u201 Scala 2.11.8 spark 2.2.0 hadoop 2.7.2 sbt 0.13.13.1 上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用,链接:https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码:mnml ...原创 2019-10-15 09:23:01 · 676 阅读 · 1 评论 -
【spark】Spark 入门到精通
第一阶段 环境篇 Spark 修炼之道(进阶篇)——Spark 入门到精通:第一节 Spark 1.5.0 集群搭建【点击打开】 Spark 修炼之道(进阶篇)——Spark 入门到精通:第二节 Hadoop、Spark 生成圈简介【点击打开】 Spark 修炼之道(进阶篇)——Spark 入门到精通:第三节 Spark Intellij IDEA 开发环境搭建【点击打开】 第二阶段 原理篇...原创 2019-09-29 09:37:03 · 24748 阅读 · 0 评论