- 博客(61)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 SqlServer表锁住后...
索引SqlServer表锁住后，必须手动杀掉死锁的会话ID，才能恢复正常，相关操作：查看被锁表：select request_session_idspid,OBJECT_NAME(resource_associated_entity_id) tableName fromsys.dm_tran_locks where resource_type=‘OBJECT’–spid 锁表进程–tableName 被锁表名解锁：declare @spid int Set @spid = 57 -
2021-01-06 09:53:05
296
原创 Vue渐进（一）入门
索引一、认识二、入门一、认识官网：https://cn.vuejs.org/作者：尤雨溪，据说现在是阿里P8首先，官方说是渐进式js框架，对于后端程序员来说，我觉得渐进式的意思是指：可以通过操作很少的DOM甚至不需要操作DOM元素，就能轻易完成数据和视图的绑定。它不推荐再使用jQuery二、入门先把官网的例子看一看，入门肯定要写一遍hello world<html> <head> <meta charset="utf-8" /> &l
2020-12-25 15:19:12
743
1
原创 java.lang.NoClassDefFoundError: org/scannotation/AnnotationDB
web项目集成kettle报错缺少jar包<!-- https://mvnrepository.com/artifact/org.scannotation/scannotation --> <dependency> <groupId>org.scannotation</groupId> <artifactId>scannotation</artifactId>
2020-12-04 14:44:25
1479
原创 SpringBoot与Shrio（四）缓存部分
索引引Cache Manager引因为每次都要查一遍数据库拿授权，更别说用户特别多，并发什么的了，数据库负担太大，所以就要启用缓存Cache Managershiro架构里边有一个管理缓存的组件，默认用ehcache实现，看一下它的缓存管理public abstract class CachingRealm implements Realm, Nameable, CacheManagerAware, LogoutAware { private static final Logger log
2020-11-30 15:17:43
204
原创 SpringBoot与Shrio（三）授权部分
索引简易版数据库设计简易版数据库设计关于权限的数据库设计：1.用户与角色绑定，角色与权限绑定，权限与资源绑定2.不想基于权限字符串管理：用户与角色绑定3.不想基于角色管理：用户与权限绑定4.不想让角色和权限关联：用户与角色绑定，用户与权限绑定这里使用第一种，用户与角色多对多，角色与权限多对多，权限与资源一对一用户表角色表权限表用户角色表角色权限表...
2020-11-30 11:46:57
151
1
原创 Kettle的变量传值
索引转换转换先给转换增加个命名参数，我这里是定义了个文件名文本文件输入设置这个变量命令行运行加上 -param参数即可，注意得加引号“-param:filename=C:\Users\Pinole5\Desktop\新建文本文档 (3).txt”动态文件名就ok了...
2020-11-27 17:05:20
490
原创 关于Kettle和webService的一个Demo，整整思路
索引自己写个webService服务端，让客户调用，客户调用后生成一个格式文件，再叫Kettle执行job，操作这个文件。webservice： @Override public void saveUser( User user) { //生成txt文件 FileUtil.test(user); //调用kettle String s = "cmd /c start D:\\pdi-ce-9.0.0.0-423\\data-in
2020-11-26 17:30:35
620
原创 SpringBoot与Shrio（二）MD5随机盐散列版认证
索引依赖依赖依赖加入mybatis、mysql驱动、druid数据源 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.4</version>
2020-11-26 16:56:10
456
1
原创 SpringBoot与Shrio（一）简单登录退出
索引引开局一张图引shiro与springboot整合，项目中所有请求通过shiro处理，达到一个系统安全的目的。开局一张图请求进到系统会先到ShiroFilter，ShiroFilter会去找SercurityManager做认证和授权，认证通过后再进行判断是否为公共资源，非公共资源要授权操作才能访问系统资源。...
2020-11-25 15:52:15
341
原创 kettle的调度监控平台
项目源码：https://github.com/zhaxiaodong9860/kettle-scheduler发布版本：https://pan.baidu.com/s/1DX2aCLlOIieHjuNcwn2_-w 提取码 提取码: 52r8不懂就要问，踩坑需谨慎，原文配置指导：链接，超级好用超级方便
2020-11-23 17:58:08
2208
2
原创 Kettle PDI后台执行定时任务
目录定时任务crontab定时任务1.写一个.sh脚本vim test.sh内容/opt/software/data-integration/kitchen.sh -dir=/ -rep=187a -user=admin -pass=123456 -job=1 -log=./logs/log.log -level=Detailed 2.加可执行权限chmod +x test.sh3.编辑定时任务crontab -e内容，表示1
2020-11-19 10:36:16
477
原创 Kettle PDI Linux安装运行
目录资源库乱码问题Linux安装资源库乱码问题官方回答：kettle连接数据库资源池时中文乱码Linux安装直接把zip ftp上传到centos7解压unzip pdi-.......把要用的驱动放进去把 .kettle也放进去
2020-11-16 12:33:37
332
原创 MyBatisPlus基操
目录先跑起来注解先跑起来依赖 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.4.0</version> </dependency>ymlsprin
2020-11-15 12:55:02
203
1
原创 MyBatis基操
目录mybatis与SpringBoot整合后mybatis与SpringBoot整合后maven <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.3</ve
2020-11-11 10:10:34
109
1
原创 kettle PDI学习笔记（十三）：作业
目录简介作业项作业跳例子简介大多数ETL项目都需要完成各种各样的维护工作。例如，怎么传送文件，验证数据库表是否存在，等等。这些操作都是按照一定顺序完成。因为转换以并行方式执行，就需要一个可以串行执行的作业来处理这些操作。一个作业包含一个或多个作业项，这些作业项以某种顺序执行。作业执行顺序由作业项之间的跳（job hop）和每个作业项的执行结果来决定。作业项作业跳例子先从Excel读取数据，保存到Excel，再从文本文件中读取数据保存到Excel，如果产生错误就发送邮件，并且停止作业，如
2020-11-10 11:10:26
247
原创 kettle PDI学习笔记（十二）：脚本
目录javascript脚本Java代码执行SQL脚本javascript脚本脚本就是直接通过程序代码完成一些复杂的操作。例子：生成日期维度数据，有日期，年，月，日，从2000年1月1日开始有1000条数据,保存到Excel生成记录效果：1000行数据增加序列计算器字段选择移出datejs脚本最后输出即可Java代码执行SQL脚本...
2020-11-10 09:57:22
351
原创 kettle PDI学习笔记（十一）：映射
目录映射映射映射用来定义子转换，便于封装和重用映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换映射输入规范是输入字段，由调用的转换输入。映射输出规范是向调用的转换输入所有列，不做任何处理。例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。t_orders表t_users表...
2020-11-09 17:48:01
479
原创 kettle PDI学习笔记（十）：统计
目录分组分组分组是按照某一个或某几个进行分组，同时可以将其余字段按照某种规则进行合并。分组之前也必须排序。Excel输入排序记录分组结果
2020-11-09 16:54:41
440
原创 kettle PDI学习笔记（九）：连接
目录合并记录记录关联（笛卡尔输出）记录集连接合并记录合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字进行匹配、比较、合并。Excel1Excel2合并记录结果记录关联（笛卡尔输出）Excel1Excel2结果记录集连接Excel1Excel2四种连接，字段都一样，连接类型不一样而已结果...
2020-11-09 16:41:51
325
原创 kettle PDI学习笔记（八）：查询
目录HTTP client数据库查询数据库连接流查询HTTP clientHTTP client是使用get的方式提交请求，获取返回的页面内容。用这个接口可以得到一个xml：http://services.odata.org/V3/Northwind/Northwind.svc/Products/自定义常量HTTP clientGet data from xml/feed/entry/content/m:properties结果数据库查询就是左连接查询数据库连
2020-11-09 15:40:53
256
原创 kettle PDI学习笔记（七）：流程
目录switch case过滤记录空操作（什么也不做）终止switch case结果：根据性别，数据分别放在了不同的地方过滤记录过滤记录像if else。就是判断name是否为空进行数据处理空非空空操作（什么也不做）没什么好解释的。。终止一般用中止校验数据。只要有数据流到中止，就报错提醒。...
2020-11-09 14:07:20
228
原创 kettle PDI学习笔记（六）：应用
目录替换空值写日志替换空值源数据处理后写日志写日志主要在调试的时候使用，把日志信息打印到日志窗口。红框可以选择日志级别
2020-11-09 13:37:20
138
原创 kettle PDI学习笔记（五）：转换
目录Concat fields值映射增加常量增加序列字段选择Concat fields从Excel获取FirstName和LastName连接起来，放到Excel框框这里是两个字段之间的连接符拼接后值映射值映射就是把字段的一个值映射成另一个值，比如数据库经常用0、1代表性别数据来自网上，并没有性别歧视，如有冒犯请联系我删除。增加常量增加常量就是在本身的数据流里添加一列数据，数据相同。这好像没啥用，肯定是我还没体会到它的应用场景增加序列能想到的假场景就是一炮子没有i
2020-11-09 13:08:57
401
原创 kettle PDI学习笔记（四）：输出
目录Excel输出文本文件输出sql输出表输出更新插入更新删除Excel输出案例：从mysql输出到xls和xlsx拉出来表输入和两个输出并配置好表输入，让选择分发/复制，选择复制就好。Excel输出配置：选择文件、获取字段就ok了Microsoft Excel输出：扩展名改成xlsx就可以在下边红框打勾了，据说是速度更快，内容里获取字段即可运行，ok文本文件输出用数据库输出到文本文件，可以回到Excel输出，DB，右击，数据库共享，别的文本文件就不用新建数据库连接，可以直接使用了。（共
2020-11-08 11:42:08
284
原创 kettle PDI学习笔记（三）：输入
目录CSV文件输入文本文件输入CSV文件输入上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。注意一下，更改的时候，要把输出的那个文件关掉，不然会报错文本文件输入准备个txtid;name;age1;zhangsan;222;lisi;213;wangwu;25新建转换、文本文件输入、Excel输出...
2020-11-07 22:41:35
439
原创 kettle PDI学习笔记（二）：kettle快速上手
目录kettle的快速体验kettle的快速体验读取csv文件，写入到xls文件，这么个操作，读取的过程叫抽取（或者理解为输入），写入的过程叫加载（或者理解为输出）我这里找了一个cvs文件，改了一下凑活用回到软件，新建一个转换并保存点到核心对象，把csv文件输入拖到工作台双击打开工作台的那个控件，选择准备好的csv文件，可以根据红框框点一点看一看效果，差不多了就确定。在输出里找到Excel输出并拖过去，在工作台点下“csv文件输入”按下shift，再点到“Excel输出”，选择“主输出
2020-11-06 21:49:27
273
原创 kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件不慌，我也是刚听说这个词，一脑袋懵一、ETL什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。二、Kettle简介1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。2.Kettle中文：水壶，作者希望把各种数据放到一
2020-11-06 20:14:48
773
1
原创 创建型设计模式：建造者模式
目录认识伪实现认识建造者模式的结构：产品角色、抽象建造者、具体建造者、指挥者。相比抽象工厂模式，省掉了抽象产品，多了指挥者。伪实现产品class Product{ private String partA; private String partB; private String partC; //get set省略 public void show(){ 展示产品特性 } }抽象建造者abstract class Builder{
2020-11-06 17:28:21
77
原创 创建型设计模式：抽象工厂模式
目录认识伪代码认识抽象工厂模式的结构：抽象工厂、具体工厂、抽象产品、具体产品伪代码//抽象产品：动物类interface Animal { public void show();}//抽象产品：植物类interface Plant { public void show();}//具体产品：马类class Horse implements Animal { public Horse() {} public void show() { syso "具
2020-11-06 17:12:56
72
原创 创建型设计模式：工厂方法模式
目录认识实现认识 工厂方法模式解决的是，不像简单工厂似的，要增加产品必须改工厂类的代码。实现思路是，1.抽象工厂类、2.抽象产品类、3.具体工厂类（继承抽象工厂类）、4.具体产品类（继承抽象产品类）、5.外界调用。实现1.抽象工厂类//创建抽象工厂类 abstract class Factory { public abstract Product Manufacture(); }2.抽象产品类 //创建抽象产品类 abstract
2020-11-03 10:03:59
97
原创 创建型设计模式：简单工厂模式
目录认识应用场景实现认识 简单工厂模式又叫静态工厂方法模式，因为它创建实例的方法通常为静态方法。它的思想是，把被创建的对象称为“产品”，把创建产品的对象称为“工厂”。如果要创建的产品不多，只要一个工厂类就可以完成，这种模式叫“简单工厂模式”。应用场景 对于产品种类相对较少的情况，考虑使用简单工厂模式。使用简单工厂模式的客户端只需要传入工厂类的参数，不需要关心如何创建对象的逻辑，可以很方便地创建所需产品。实现public class Client {
2020-11-02 14:00:33
83
原创 创建型设计模式：原型模式
目录认识应用场景实现认识 原型模式在Java里的体现就是克隆，很单纯，具体干啥使呢，这么说吧，比如我有一毛钱，clone一下，变成两毛了。刚开始接触这个概念的时候，我拿小拇指头一想，存在的意义到底是什么？不在堆里边存？后来还是我片面了，看到它的应用场景，是的，是我格局小了。应用场景 1.对象之间相同或相似，即只是个别的几个属性不同的时候。 2.创建对象成本较大
2020-10-30 14:07:11
183
原创 创建型设计模式：单例模式
目录认识特点实现认识 单例模式是23种设计模式中最简单的模式了，所谓单例，就是说一个类只能有一个实例。大白话：对象是唯一的，不可能有第二个，比如说世界上不可能有两片相同的花瓣，也没有两片相同的雪花，当然也没有第二个昆仑（月亮）。对风花雪月没什么概念的话，那就看看Java里的单例吧。 在Java里得ServletContext、Spring里的ApplicationContext、数据库中的连接池…好多都是单例模式。特点1.单例类只有一个实例2.这个实
2020-10-30 12:24:21
99
原创 Maven的下载配置国内加速及IDEA使用Maven
目录前言Maven的下载配置前言 装Maven环境ingMaven的下载配置 1.下载：地址，并解压 2.配置环境变量：变量名：MAVEN_HOME变量值：maven的路径找到PATH，增加值：%MAVEN_HOME%\bin; 3.修改配置文件，在本地建个文件夹存当做Maven仓库 4.IDEA修改Maven配置...
2020-10-30 09:58:28
539
原创 SpringBoot与消息-上手RabbitMQ
RabbitMQ从0到1一个故事：异步处理一个故事：应用解耦一个故事：流量削峰概述消息代理规范RabbitMQ简介核心概念RabbitMQ运行机制 消息是如何抵达队列的？ 交换器(Exchange)RabbitMQ安装RabbitMQ界面操作（创建交换器、消息队列、 绑定关系）RabbitMQ消息测试RabbitTemplate发送接收消息测试RabbitTemplate序列化改为JSONRabbitMQ监听Rabbit的AmqpAdmin管理组件
2020-10-18 17:45:20
252
1
原创 Navicat工具连接Oracle数据库报错【No matching authentication protocol】
原因 缺少对应oracle的oci解决 1.根据对应Oracle版本下载Instance Client的版本，我是找了一个比较高的版本（留个位置，资源审核通过后再贴出来） 2.把下载好的Instance Client放在Navicat中对应的目录下（Navicat工具-选项-OCI查看路径） 3.把原来的替换成下载来的oci...
2020-10-13 09:12:12
991
instantclient_11_2.rar
2020-10-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人