weixin_43874128的博客

原创 关于spark程序编写过程中缓存的利用

记录一下这次优化内容 对于高手来说，缓存的思想已经深入人心。但是很多初学者还是没有想到使用空间换取时间的思想。 过程 由于我们的spark程序要频繁的访问Hbase。几乎是一条数据就要读取一下， 导致我们的region压力非常大。进而想到。使用scan将数据一次性读取到内存中（brodecast），随后对内存进行访问。速度提高10倍之多。 代码如下 val conn = HbaseDao.getConnection() //创建两个Map用于缓存从Hbase中获取的数据 val ne

原创 spark源码之作业发布流程

原创 java学习---Thymeleaf的使用

1. Thymeleaf简介 1.1 什么是Thymeleaf Thymeleaf是适用于web和独立环境的java模板引擎，能处理HTML、XML、JavaScript等等我们熟知的前端文件。它也是springboot官方推荐的模板引擎，在非前后端分离的项目中使用它可以提高我们的开发效率。 2. 基本使用 2.1 与SpringBoot整合 首先，pom.xml中导入thymeleaf的依赖 <!--引入thymeleaf的依赖--> <dependency> <gr