- 博客(7)
- 收藏
- 关注
原创 Spark学习笔记(二)RDD
1.Spark对数据对核心抽象RDDRDD:不可变对分布式对象集合,被分为多个分区,运行在不同节点上创建方式:读取外部数据集;driver程序中分发driver程序的对象集合(如list和set)2.RDD支持的操作:转化操作和行动操作转化操作:将一个RDD转化成新的RDD行动操作:对RDD计算出一个结果,并返回到driver程序,或存储到外部存储系统(如hdfs等)区别:转化操作惰性计算RDD,而行动操作时才会真正计算,数据规模大,节省了很多存储空间程序上区别:转化操作返回的是RDD,而行
2020-12-16 09:50:08 248
原创 Spark学习笔记(一)基础概念
1.SparkSpark是一个用于实现快速而通用的集群计算平台Spark使用内存进行计算,只读取一次,大量的迭代工作放入内存,所以Spark内存开销大,速率也快计算模型:MapReduce(速度快)2.MapReduce(key-value)MapReduce 主要包含三个功能:map、group by、reducemap:对读取的文件进行逐个扫描,并获取我们所需要的数据group by:根据一定的规则进行排序reduce:数据的聚合、合并等处理3.RDD(开发中的主体)弹性分布式数据集
2020-12-15 10:58:52 143
原创 BigDecimal口味成长快乐
为什么用BigDecimal在日常练习中,float和double基本上都能满足我们对于小数的需求,但是在实际业务诉求中,为了避免精度丢失(少10W个一分钱课不得了)使用BigDecimal。包括浮点数的运算,也很容易造成精度丢失。构造BigDecimal对象BigDecimal对象的构造有3种方式new BigDecimal(Double d);new BigDecimal(Integ...
2019-06-04 14:16:05 121
原创 用MockMvc对接口进行测试
为什么使用Mockmvc?(业务角度)在基于springboot开发接口的过程中,测试时必不可少的,起初我们开发人员常用的测试工具是:postman、Swagger在我们公司一般使用的是Swagger测试,通过构造param参数,请求头传参等,请求目标接口获取返回的content,一般都是肉眼去查看之后确认接口是否调通。从我们leader的角度来讲,这并不能成为一个测试通过的标志,使用Moc...
2019-05-13 20:03:04 2454
原创 git bad config line 1 in file 问题
出现这个问题的原因 9成9是因为加密系统在搬迁之后导致解密不完全 对于这些config文件不能够完全的解密虽然notepad++能够完美的展示 但实际读取的时候还是有问题,以防以后再出现这种问题就记上一笔问题很明显就是针对的config文件定位到出现问题的文件,将其删除使用git bash here 输入命令git init这基本上能解决了然而我的问题加密系统带来的 个人的config...
2019-05-06 16:29:32 5224 3
原创 Lombok简单了解
昨天在看了了解了一波@Slf4j注解之后发现了这个projectlombok依赖包含了很多东西 sfl4j只是其中的一个lombok还有非常多的注解@Setter@Getter@Data@Log(这是一个泛型注解,具体有很多种形式)@AllArgsConstructor@NoArgsConstructor@EqualsAndHashCode@NonNull@Cleanup@T...
2019-05-06 11:58:39 223
原创 @Slf4j注解
@Slf4j最初在看到这个注解的时候是在一个Controller类中看到的@Slf4j@RestController@RequestMapping("/api/pc")publiuc class XXController{}@RestController和@RequestMapping是SpringBoot中比较常见注解用于声明这是一个Controller以及请求的基础路径那么在看...
2019-05-05 18:27:22 32997 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人