spark
客 人
这个作者很懒,什么都没留下…
展开
-
SparkStreaming项目(实时统计每个品类被点击的次数)
1、项目的流程:每一个IP对应的名称:2、需求实时统计每个品类被点击的次数(用饼状图展示):3、分析设计项目新建一个Maven项目:pom文件:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...转载 2020-06-05 09:45:40 · 912 阅读 · 0 评论 -
spark面试题
Spark Core面试篇01随着Spark技术在企业中应用越来越广泛,Spark成为大数据开发必须掌握的技能。前期分享了很多关于Spark的学习视频和文章,为了进一步巩固和掌握Spark,在原有spark专刊基础上,新增《Spark面试2000题》专刊,题集包含基础概念、原理、编码开发、性能调优、运维、源代码以及Spark周边生态系统等。部分题集来源于互联网,由梅峰谷志愿者收集和整理,部分题集由...转载 2018-07-02 20:18:52 · 4906 阅读 · 0 评论 -
spark面试
spark面试问题收集spark面试问题1、spark中的RDD是什么,有哪些特性RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:就是一个集合,用于存放数据的Distributed:分布式,可以并行在集群计算Resilient:表示弹性的 弹性表示 1、RD...转载 2018-07-02 20:20:20 · 628 阅读 · 0 评论 -
spark简述
Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够像操作本地集合对象一样轻松地操作分布式数据集,在Spark官网上介绍,它具有运行速度快、易用性好、通用性强和随处运行等特点。Spark概述当前,MapReduce编程模型已经成为主流的分布式编程模型,它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷,如...转载 2018-07-02 20:59:53 · 3050 阅读 · 0 评论 -
spark实践
SPARK全解析Spark是什么?Spark 源码编译Spark本地模式安装配置及Spark Shell基本使用Spark集群Spark Application开发、运行及监控(IDEA)Spark 日志监控(HistoryServer)配置Spark RDDSpark共享变量Spark 内核Spark 依赖Spark ShuffleSpark Application添加jar包的三种方法Spar...转载 2018-07-02 21:04:24 · 12322 阅读 · 1 评论 -
Hadoop、storm和Spark的区别、比较
一、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度...转载 2018-07-03 20:53:29 · 12058 阅读 · 0 评论 -
云计算
一、云计算总纲二、下面是章节部分目录: 2.1 JAVA基础: 2.2 Linux基础 2.3SQL优化 2.4Hadoop 2.0大数据 2.5SPARK+STORM+FLUME 2.6PYTHON 2.7统计学基础 2.8矩阵基础...原创 2019-05-29 21:10:33 · 989 阅读 · 0 评论