iris_new-CSDN博客

原创 web项目整合shiro

一、shiro介绍借用官方的话：Apache Shiro是一个功能强大、易于使用的Java安全框架，它常用于身份验证、授权、加密和会话管理。Shiro的API易于理解，您可以快速轻松地保护任何应用程序——从小的移动应用程序到大的Web和企业应用程序。官网：https://shiro.apache.org/二、spring boot整合shiro1.maven资源我使用的版本是1...

2018-07-16 18:07:53 513

原创 springboot快速开发框架(脚手架)-iris后台管理项目

一.项目介绍源码地址: Iris后台管理系统该项目由本人独立自主研发.项目为一般企业用到的后台管理项目,目前基础功能包括:1.用户管理2.菜单管理3.机构管理4.角色管理5.权限管理(待完善)二.运用技术1.基于SpringBoot项目.简化了大量项目配置和maven依赖,让您更专注于业务开发.2.前端采用hAdmin UI.基础模板.以及layer等3.利用thymeleaf模板引擎对前台页...

2018-03-27 16:50:59 7642 4

转载 Spark Streaming有状态计算的实际问题-StackOverflowError

转载: http://distantlight1.iteye.com/blog/22877651.背景spark streaming有状态计算（如UV）通常采用DStream.updateStateByKey（实际是PairDStreamFunctions增强到DStream的），具体实现网上讲的很多。spark streaming是持续计算，有状态时不能通过简单的DAG/lineage容错，所以...

2018-03-21 17:20:51 863

原创 spark postgresql查询后hive批量写入

从传统数据库中读取数据,然后一次性插入至hive表

2018-03-13 13:43:21 1467

原创 sql-普通查询及存储过程分页实现

sql-普通查询及存储过程分页实现

2018-03-07 15:02:57 731

原创 oracle存储过程：游标使用，多重游标

oracle游标

2017-11-28 14:45:09 7707

原创 spark 调度流程

spark 调度流程

2017-10-26 17:19:46 322

原创 Centos7 zookeeper-3.4.8集群搭建

Centos7 zookeeper-3.4.8集群搭建

2017-10-18 14:54:12 913

原创 redis集群搭建

redis集群搭建

2017-08-29 16:58:58 390

原创 Spark kafka实时消费实现

spark kafka 实时消费

2017-08-21 14:03:06 2890

原创 Spark Streaming checkpoint 实现状态的恢复实现

Spark Streaming checkpoint 实现状态的恢复实现

2017-07-06 17:46:16 2569

原创 spark updateStateByKey用法更新状态

因为本人刚开始接触大数据开发，在使用spark做开发过程遇到了一些问题，所以写下来作为笔记。先把代码贴出来吧。（网上找的一段代码示例）关于updateStateByKey ： 1.重点：首先会以DStream中的数据进行按key做reduce操作，然后再对各个批次的数据进行累加 2.updateStateByKey 方法中 updateFunc就要传入的参数，他是一个函数。S

2017-06-29 18:24:51 3732

原创 scala 字符串操作在报文中寻找指定字符串

scala 字符串操作

2017-06-09 14:47:27 4220

iris_new的博客