activiti工作流5.22.0 多人会审功能实现

背景 因业务需求需要实现指定多人来进行一个task,传统做法是使用网关来达到目的,但是显示情况是会审的人员是可变且易变的,比如我指定安全组来做一个检验任务,安全组今天可能是5个人,明天又有人离职变成了3个人,因此网关不大适合该场景,这里就需要用到activiti提供的parallel。 环...

2018-01-30 17:42:25

阅读数 5203

评论数 8

hive on spark与sparkSQl共存

1

2019-05-17 16:56:05

阅读数 4

评论数 0

kettle6.1从http接口读取数据并解析json以及xml

业务需求 1、从数据库中读取表内容作为入参; 2、根据入参读取http接口并获取返回数据; 3、解析返回的json并提取其中的xml字段; 4、解析该xml字段; 5、入库。 使用组件 ...

2019-03-29 14:17:46

阅读数 187

评论数 0

利用正则表达式爬取HTML页面内容

闲来使用正则表达式做了一个HTML页面的数据爬虫,主要是根据页面规则去匹配相应字段内容,记录一下。 利用HttpGet获取页面内容,使用pattern获取匹配内容 CloseableHttpClient client = HttpClientBuilder.create().build(); ...

2018-12-18 18:19:03

阅读数 425

评论数 0

hive 2.3.3(HA) on spark 2.2.0 on yarn 2.6.5踩坑记

环境一览 hive 2.3.3配置HA spark 2.2.0 hadoop 2.6.5 zookeeper 3.6.5 hbase 1.2.6 碰到的所有坑 1、jdbc连接zk时方法找不到异常 org.apache.curator.utils.ZKPaths.fixForN...

2018-05-25 19:03:58

阅读数 902

评论数 0

kettle6.1读写hive on hbase记录

版本 kettle 6.1 hbase 1.2.6 hive 2.2.0 hadoop 2.6.5 数据架构 业务数据通过kafka流向业务数据处理引擎,过滤后的数据写入hbase,kettle job定期执行作业,读取hive运算结果写入业务mysql库中,提供给前端展示。 实现 ...

2018-05-21 14:58:15

阅读数 392

评论数 0

服务器防御基础(常见的几种攻击手段以及应对方式)

前言 互联网世界鱼龙混杂,我们的网站放在internet上除了网站用户和会员会造访,还会有一群觊觎网站利益服务器功能的人在暗中观察,抓住机会找到漏洞就把网站一举拿下,从而盗取数据或是利用服务器资源作为矿机等等,因此服务器防御也是不可忽略不可轻视的一方面。 大部分公司在开发运维过程中并不会去刻意...

2018-05-10 19:33:27

阅读数 3053

评论数 0

利用AbstractRoutingDataSource+AOP实现多数据源切换

实现基于springmvc+mybatis框架动态切换不同的数据源。 基础框架springmvc4+mybatis3。 主要利用了spring aop以及spring的AbstractRoutingDataSource类。

2018-04-27 15:59:28

阅读数 187

评论数 0

利用spring-boot构建spark job作业提交服务

版本依赖 spark.version:2.1.0 hadoop.version:2.6.5 springboot-mybatis.version:1.1.1 springboot:1.5.10 实现功能 通过HTTP提交job作业请求,并记录日志到数据库中 项目DAO部分使用my...

2018-03-26 14:54:30

阅读数 4469

评论数 5

java结合luaj实现服务中执行动态脚本

业务场景 我们都会碰到这样的情况,某某用户临时又增加新的校验规则需求,但是需求又很碎很急,没法等到下一个版本上线(想打人有木有),这种时候如果为了上线该改动需要重启服务,修改代码,除了增加开发工作量以外还增大了服务运维风险。我们当然可以使用类似weblogic之类支持热部署的服务器,但是这对大部...

2018-02-08 11:19:15

阅读数 1406

评论数 2

kettle6.0 hadoop hbase交互记录

摘要:在kettle6.0中连接读写hadoop和hbase与之前版本方法不同,故记录一下使用方法。 环境准备: windows kettle6.0 jdk1.7 hadoop 2.6.5 hbase 1.2.6 配置首先配置hadoop的连接插件 打开 工具-&a...

2017-12-12 19:37:48

阅读数 557

评论数 0

hadoop2.6.5+spark2.1.0+hbase1.2.6完全分布式环境部署

一、服务器环境准备 tips:本例作为测试环境,只使用了两台服务器,实际生产环境至少会有三台以上服务器作一主多从。 如果要配置 hadoop JournalNode zookeeper高可用,则至少需要五台服务器。 服务器centos7 * 2 A master:...

2017-11-29 19:23:21

阅读数 599

评论数 0

IntelliJ IDEA构建基于maven的spark+hbase工程(scala语言)

利用IDEA来编写基于maven的scala程序,主要功能用来支持从hbase中拉取数据供spark进行mapreduce运算。

2017-11-08 16:03:34

阅读数 2116

评论数 0

java调用spark+hdfs计算的一个小demo

最近在入门spark+hadoop,伪分布式安装,部署推荐这几个地址,不错。这边顺手记录一下自己用到的两个小程序。 推荐教程 http://www.powerxing.com/install-hadoop/ http://blog.csdn.net/yeruby/article/deta...

2017-11-04 15:37:25

阅读数 1695

评论数 1

shiro+mybatis+springmvc实例记录(二)——shiro支持ajax请求

接上文,页面跳转显然不适合动静分离ajax交互的架构模式,因此就需要对框架进行改造优化,使得后台能够返回json数据给前端请求。自定义拦截器shiro对权限、用户信息的校验实在默认的拦截器中进行的,要改写数据返回方式,则需要重写拦截器。这里我们分别对authc,perms进行重写。 分别定义两个...

2017-11-01 18:57:28

阅读数 1097

评论数 0

利用jenkins自动构建基于docker的tomcat容器

软件准备jenkins-2.7.4 maven-3.0.5 git-2.8.0 gitlab-8.7.5 docker-17.05.0-ce 具体的安装本处不予缀述,该yum的yum,make install或者rpm都可以,自由选择。git最好不要用yum install git,自动...

2017-10-16 10:14:38

阅读数 1071

评论数 0

shiro+mybatis+springmvc实例记录(一)

应用背景早先做权限控制都是采用自己编写的interceptor进行过滤拦截,适合仅针对登录进行校验的场景,随着要求复杂多样化,就需要寻求一款稳定便捷的框架。shiro和security都是不错的选择,我这次姑且先选型shiro。shiro简介Apache Shiro是一款提供了身份认证、授权管理、...

2017-10-11 15:32:27

阅读数 276

评论数 0

稍微修补后的一个jsp window资源管理页面

背景就不多说了,使用webshell纵览系统资源的工具应该还是很便利的,但是由于之前网上的版本太过简陋,根本连编译都不会通过,这种写法charAt(i)==’//’? exm?这种写法大学生都知道会报错好吧?这还像将就着用?更不用说“/r/n”这种低级错误了,你用都比这个好啊喂。 这里直接贴上可...

2017-08-31 12:16:05

阅读数 149

评论数 0

升级Glibc2.14的坑爹记录

勇敢的骚年哟,请问你要的是这个glibc2.12呢还是这个glibc2.14呢。。。由于隔壁部门坑爹的SO,需要我把glibc升级到2.14,于是苦逼的程序员开始了艰辛的升级之旅~~升级的过程不用说了,网上一抓一大把,粗制滥造的就算了,CSDN上有很多篇很详细的文章,不过纵观全网大量的文章居然都漏...

2017-08-28 16:36:22

阅读数 5317

评论数 4

kettle6.0基础功能实战

业务背景因为公司业务,需要进行国内-海外部分业务数据的同步,早期本来方案选定直接做MySQL主从,但是考虑到同步过程中不需要同步所有数据库表,且单表中也需要根据业务情况,筛选出海外的数据,因此MYSQL直接做主从复制不符合预期。最终选型了kettle。Kettle是Pentaho的一个组件,主要用...

2017-08-18 10:45:30

阅读数 8561

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭