BigData
大数据
JunMoXiaoPro
这个作者很懒,什么都没留下…
展开
-
Spark的认识(四)
Spark的认识(四)1、本文内容 1、掌握SparkStreaming底层原理 2、掌握Dstream常用操作 3、掌握SparkStreaming整合flume 4、掌握SparkStreaming整合kafka 2、SparkStreaming概述2.1 什么是sparkStreaming Spark Streaming makes it...原创 2019-03-14 10:15:23 · 379 阅读 · 0 评论 -
Spark的认识(三)
Spark的认识(三)1、本文内容 1、掌握sparkSQL原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握sparksql代码开发 2、sparksql概述2.1 sparksql前世今生 shark是专门为spark设计的大数据仓库系统 shark与hive代码兼容,同时它也依赖于spark的版本 后期...原创 2019-03-14 10:05:17 · 457 阅读 · 0 评论 -
Java之数据类型转换,运算符,方法入门
本文内容 数据类型转换 算数运算符 比较运算符 逻辑运算符 三元运算符 简单方法定义和调用 第一节 数据类型转换Java程序中要求参与的计算的数据,必须要保证数据类型的一致性,如果数据类型不一致将发生类型的转换。1.1自动转换一个int类型变量和一个byte类型变量进行加法运算,结果是什么类型呢?int i = 1;b...原创 2019-03-13 11:10:46 · 352 阅读 · 0 评论 -
ElasticSearch简单使用
ElasticSearch简单使用首先我们谈几个公司,如雷贯耳的:百度、谷歌、维基百科;这些公司都有一个相似性就是门户网站,可以提供我们通过关键字搜索,然后快速的检索出我们想要的信息;【网页百度展示】比如我们检索传智播客,百度后台就会按照这个关键字进行查找(里面有搜索库,以及爬虫库),然后按照权重来进行从上打下的排序,给我们高亮的展示出现【京东或者淘宝展示】随便搜索东西,就会高...原创 2019-03-13 16:59:14 · 15906 阅读 · 2 评论 -
浅谈JVM
1、JVM是什么JVM是Java Virtual Machine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的计算机,是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。 一般的高级语言如果要在不同的平台上运行,至少需要编译成不同的目标代码。而引入Ja...原创 2019-03-13 17:26:56 · 1194 阅读 · 1 评论 -
Spark任务调度和资源分配
Spark任务调度和资源分配1、Spark调度模式 FIFO和FAIR Spark中的调度模式主要有两种:FIFO和FAIR。 默认情况下Spark的调度模式是FIFO(先进先出),谁先提交谁先执行,后面的任务需要等待前面的任务执行。 而FAIR(公平调度)模式支持在调度池中为任务进行分组,不同的调度池权重不同,任务可以按照权重来决定执行顺序。2、资源分配概述...原创 2019-03-14 10:28:03 · 878 阅读 · 0 评论 -
Spark面试问题收集
Spark面试问题spark面试问题1、spark中的RDD是什么,有哪些特性 RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:就是一个集合,用于存放数据的 Distributed:分布式,可以并行在集群计算 ...原创 2019-03-14 10:39:37 · 275 阅读 · 0 评论