亿旅-CSDN博客

原创学习Spark先从这里开始

文章目录前言一、spark概述1.1 Hadoop MR与Spark的对比1.2 集群角色1.2.1 Master和Worker集群资源管理1.2.2 Driver和Executor集群资源管理二、spark运行模式2.1 Local模式总结前言回顾Hadoop主要解决海量数据的存储和海量数据的分析计算。但是我们知道它的计算速度在很多生产环境中已经无法满足我们的需求了，这时候就有必要学习一个计算更加高效的框架了—spark。一、spark概述Spark是一种基于内存的快速、通用、可扩展的大数据

2020-11-05 10:19:55 185

原创 SparkCore初步

一、RDD是什么？RDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中最基本的数据抽象。特点：弹性：储存的弹性，内存与磁盘的自动切换容错的弹性：数据丢失可以自动恢复计算的弹性：计算出错重试机制分片的弹性：可以根据需要重新分片分布式：数据存储在大数据不同的节点上数据集，不可存储数据：RDD封装了计算逻辑，并不保存数据数据抽象：RDD是一个抽象类，需要具体的子类具体体现不可变：RDD封装了计算逻辑，是不可改变的，想要改变

2020-11-03 17:55:33 315

原创 java及scala中的小数问题

保留两位小数：object DecimalFormat { def main(args: Array[String]): Unit = { val formatter = new DecimalFormat("0.00") val str = formatter.format(10.4573) println(str) }}10.46左边对齐：object DecimalFormat { def main(args: Array[String]): Unit

2020-11-02 19:00:24 512

原创基于Java再出发Scala（下）

文章目录八、模式匹配1.基本语法2.模式守卫3.模式匹配类型3.1匹配常量3.2匹配类型3.3匹配数组3.4匹配列表3.5匹配元组4.样例类与样例对象5.声明变量时匹配元组6.for表达式中的模式匹配7.偏函数中的模式匹配九、异常总结八、模式匹配1.基本语法* 变量名/表达式 match {* case 匹配条件 => {* 匹配上之后执行的逻辑* }* case 匹配条件 => {*

2020-10-25 16:50:21 186

原创 http请求及Json解析

项目场景：scala语言的http请求及json字符串解析问题描述：需求：统计每个省份/城市的原始请求数原始数据：{"sessionid":"5uokn1Mzq825Iol9FroBMAtwgS5Brxjs","advertisersid":6,"adorderid":31547,"adcreativeid":344121,"adplatformproviderid":804821,"sdkversion":"IOS 10.2","adplatformkey":"7MCS0IDOrbxT1MH

2020-10-25 15:36:13 1734

原创 Scala中日期与字符串的转换

字符串转日期object test1 { def main(args: Array[String]): Unit = { //时间字符串 val dateStr = "20190202 12:12:14" //转换成日期对应的时间日期格式 val pattern = "yyyyMMdd HH:mm:ss" val dateTime = LocalDateTime.now() val date = new SimpleDateFormat(pattern)

2020-10-23 17:52:35 2638

原创基于Java语言再出发Scala

文章目录前言一、Scala与Java之间的关系？二、变量和数据类型1.标识符命名规范2.变量的定义3.字符串获取方式4.键盘输入5.数据类型关系6.数据类型之间的转换三、运算符四、流程控制1.代码块2.if .. else3.for循环4.while5.Scala中没有break与continue关键字咋办？前言Spark是大数据计算框架，为了能够更好的学习spark，我们需要先了解它的编写语言—Scala一、Scala与Java之间的关系？Scala是基于Java编写的通过上图我们不难发

2020-10-21 22:22:25 288

原创 Scala插件初次在IDEA中使用报错Command execution failed

Scala插件初次在IDEA中使用报错Command execution failed.[ERROR] Command execution failed.org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) at org.apache.commons.exec.DefaultExecutor.executeInternal (DefaultExecutor.java:40

2020-10-16 13:21:39 6849 1

原创入门Hbase从这里开始

前言最初我们在使用MySql时，会发现它的查写的效率还是很多高的，后来随着数据量的增加，它的查写效率就不再那么高了，这就出现了它的弊端。HDFS在我们使用的时候，主要就解决了MySql存储数据量小的问题，同时也做到了数据的安全性。但是它也会有它的弊端，写入读取的速度比较慢，而且不能够修改数据。一、HBase是什么？1.概念是分布式/可扩展/支持海量数据存储的·NoSQL数据库。2.数据模型Name Space：类似关系型数据库的DataBase概念，每个命名空间下有多个表。Region

2020-10-14 20:13:12 145 2

原创 HBase异常：java.lang.IllegalArgumentException

【异常】java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1当通过API操作HBase时，我们可能一不小心就会碰到这样一种情况：java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1at org.apache.hadoop.hb.

2020-10-14 15:35:05 1769

yi_shi_tou的博客