紫萝藤下-CSDN博客

原创用Jenkins打造出一个企业轻量级作业调度系统(如何集成SVN自动同步代码脚本)

相信很多公司都是用svn来管理代码的，开发人员需要每天下载代码、同步代码到生产库，很多时候是纯手工的，有时候忘记了，别人的同时没有及时更新到svn，还会导致其他同时拿不到最新的代码，或搞错代码，很多意外情况就不知不觉产生了，有没有一个自动同步代码到生产库的呢？提交svn的那一秒就自动同步到了目标机器或生产环境了？有，必须有，用jenkins很容易做到。废话有点多了，好了，老规矩，干货走起！...

2018-11-23 17:34:31 257

原创用Jenkins打造出一个企业轻量级作业调度系统(如何把参数从上游作业传递给下游作业)

应用场景：我们在大数据清洗（ETL）或程序间（Job）调度过程中，有时候作业与作业之间是有依赖关系，必须等上游作业跑完后才能跑下游作业，并且前后作业参数需要一致。那如何保证参数一致性和稳定有序的执行有上下游依赖关系的作业呢？好了，废话少说，直接上干货！插件名：Parameterized Trigger Plugin1、安装（可以进入系统管理》管理插件进行在线安装，也可以下载到本地...

2018-11-23 17:17:10 363

原创用Jenkins打造出一个企业轻量级作业调度系统(用户角色权限管理插件如何使用)

Jenkins插件成千上百，用户角色管理插件是必须安装的之一。废话少说了，直接上干货吧！一、Role-based Authorization Strategy这是一款基于角色的用户管理插件，Jenkins本身没有带用户管理的功能，默认安装后只有一个匿名的账号而且是最高权限，没有用户注册功能，对于团队多人不同角色及权限控制是非常不方便的。引入这个插件可以帮你搞定用户注册、权限分配控制...

2018-11-23 17:12:48 223

原创用Jenkins打造出一个企业轻量级作业调度系统（安装部署）

Jenkins（hudson）是基于Java开发的一种跨平台，连续集成和持续交付应用程序，用于监控持续重复的工作，包括：1、持续的软件版本发布/测试项目。2、监控外部调用执行的工作。主要特征：安装方便：只要运行java -jar jenkins.war，它部署在一个servlet容器。没有额外安装，没有数据库。简单的配置：图形用户界面配置。丰富的插件生态系统：有上百插件支持...

2018-11-23 17:06:06 563

原创如何利用API构建Cube更新Kylin数据

思路：kylin提供了api来创建job，详情可以参考：http://kylin.apache.org/cn/docs/howto/howto_use_restapi.html#build-cube由于我这是写了个通用的sh来作为kylin cube的job调度的，所以需要在sh后面传入job name参数，如：kylin上有个aa的cube，那调度的时候执行 ./test.sh aa 就相当...

2018-11-23 16:15:49 680

原创如何Kylin集群部署

为什么要集群化？为了提升查询性能，为了壮大kylin的处理能力，为了高大上。。。总之老板说了算。。。一、安装好主包（忽略）参考官方文档即可二、修改配置 kylin.properties设置 all 服务器 # Kylin server mode, valid value [all, query, job]kylin.server.mode=all# Lis...

2018-11-23 14:50:10 1008

原创基于Apache Kylin大数据多维查询分析平台实践(已稳定运行2年多)

背景：B公司，前美纳斯上市公司，上亿App用户，近年来数据呈爆发式增长，每天行为日志达10T，原有的hive+mysql（查询太慢，存储太大），hive+impala（界面不友好，需要写sql语言，门槛较高，不方便运营人员查询数据，对多维数据查询较慢），已经满足不了当下需求，急需要一个能支持大规模数据查询，速度又快，使用零门槛的查询服务，几套方案选择后，最终选择了Kylin，主要看重的是它支持大规...

2018-11-22 17:44:06 2768 1