- 博客(503)
- 资源 (73)
- 收藏
- 关注
原创 Kettle 使用教程(1)—入门
大数据的开发过程中使用的是Kettle为6.1.0版本简介Kettle是一款纯Java开发的ETL工具,它是跨平台的,所以它可以在Window、Linux、Unix上运行。注意什么是ETL,读者可以自行百度了解,我的理解是将一个数据库的数据导入到另外一个数据库中,当让这种说法并不严谨,因为数据传输过程中肯定还有很多转换步骤。我们可以在它的官网上下载最新的工具包,也可以在Github上面下载Kett...
2018-02-08 10:32:20 6052
原创 大数据相关概念——kettle开发00
通常我们发现当我们使用某宝、某音后,他们会自动推荐我们想要的东西,哪怕只是今天和朋友提了一句,或者是偶尔闲聊,这些都会被大数据记住,然后推荐你需要的给你。在大数据给我们带来方便的同时,我们害怕数据安全会侵犯我的个人隐私。为了不被大数据化,我们可以搜索些我们不关注的,比如我是个男生为了不被大数据去搜索一些化妆品,衣服包包的信息,来稀释我们的用户画像信息,从而推荐就不会那么准确了。那这些大数据背后都有哪些数据处理工具和数据处理办法呢?
2024-05-24 17:24:18 81
原创 定时调度任务——kettle开发08
当我们刚接触kettle时,我们为了方便测试和演示作业的效果,常常通过Start组件来定时完成作业的调度。在我们的作业里头,我们选择通用,然后选择一个START组件,双击打开,我们就可以看到,START组件可以通过勾选重复,按照我们的要求来定时运行我们的作业。如下图所示,我们设置作业每小时运行一次,然后我们可以在日志栏详细看到我们的运行记录,包括运行时长,读取、删除、插入、更新那些记录。
2024-05-24 17:10:04 162
原创 缓存机制以及清理——kettle开发07
缓存就是数据交换的缓冲区(又称作Cache),当某一硬件要读取数据时,会首先从缓存中查找需要的数据,找到了则直接执行,找不到的话则从内存中查找。由于缓存的运行速度比内存快得多,故缓存的作用就是帮助硬件更快地运行。从上面缓存的介绍我们可以知道,缓存是个中间区类似于高速公路,因为电脑CPU是优先访问缓存,因此,缓存在性能上表现肯定是比较优秀的,因此我们该怎么用好缓存呢?
2024-05-24 17:03:40 144
原创 使用excel模板导出数据——kettle开发06
一、导出过程本次因为要生成EXCEL报表,所以我们需要使用Microsoft Excel 输出组件,该组件与EXCEL输出的区别在于,EXCEL输出多用于导出数据,而Microsoft Excel 输出多用于导出报表。转换由表输入和Microsoft Excel 输出组成,我们从生成电量月报开始聊,然后慢慢展开。
2024-05-24 16:40:37 49
原创 批量读取EXCEL文件——kettle开发05
批量获取数据,当然这些数据的列名,基本上是长一样,这样我们才能批量将相似的数据存到对应的同一个表里面,然后用于经营分析。比如我们获取10个月的用电数据,然后这10个月的电费是分为10个EXcel存储的。EXCEL中的列名分别是用电日期、用电单位、用电度数、电价、电费。当然我们可以因为需要的改变,可以在第8 9 10个月的EXCEL表中增加抄表人、确认时间等。但他们主体都是前面说到的用电日期、用电单位、用电度数、电价、电费,只是我们的底表需要多增加两个字段来存储抄表人、确认时间。
2024-05-24 16:20:54 225
原创 插入更新——kettle开发04
插入更新的主要作用就是根据条件来检索数据,如果说相同更新记录,不相同增加记录。此时不懂的小明就会问了,里面的条件是指啥?是where条件嘛?插入更新里面的条件一般指需要更新或者插入的数据与现有表中数据的对比值,一般就是我们俗称的主键,这里面的主键分别单个主键和联合主键,但是不管是单个主键还是唯一主键,都必须满意一个原则,就是。
2024-05-24 16:13:45 119
原创 执行sql脚本——kettle开发03
1、一个作业内的转换,是顺序执行的。2、一个转换内的步骤是并行执行的。3、作业内不支持事务,转换内支持事务。1、执行SQL脚本是优先于所有步骤。2、使用“阻塞数据直到步骤都完成”,确保其他数据步骤都完成再进行下一步骤。如果我们不想让执行SQ脚本先执行,有没有办法让他听话呢?答案是一定的,此时我们需要用到阻塞对象,在执行SQ脚本前面安一个智能保安,保安保证前面的对象都执行完以后,再允许执行SQ脚本来运行。
2024-05-24 16:10:26 64
原创 数据库迁移——kettle开发01
背景:数据库的多种多样,在搭建项目之初,并没有详细考虑到数据库的建设,当增加配置不能满足业务场景需要时,这时候考虑到使用更高性能的数据库,如将MySQL更换为。或者在搭建新项目时,需要复制原数据库的表结构和数据至其他数据库。
2024-05-24 15:33:45 132
原创 JAVA开发面试超详细
一种事物的多种表现形态就是多态,比如定义一个类为动物,那么动物可以被子类继承,从而实现具体动物的方法。死锁是指两个或两个以上的进程在竞争资源的过程中造成的不可解堵塞。两个线程都在互相等待。java反射机制是指在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法,对于任意一个对象,都能够调用它的任意一个方法和属性,这种动态获取的信息以及动态调用对象的方法的功能成为java的反射机制。序列化:将java对象转换成字节流的过程。反序列化:将字节流转换成java对象的过程。
2024-05-23 17:12:54 462
原创 Kettle新版下载安装使用
链接:https://pan.baidu.com/s/1xfjeUZKGMFZzWf2bP9ZHiQ?双击data-integration,找到spoon.bat进行双击,稍等几秒就可以显示界面啦。1.下载oracle的jar包,我这里我下载好了放在网盘里。(5)选择有“Data Integration”的下载。6.填写框起来的内容,点击测试,成功后再点击确认就好了。4.双击spoon.bat打开界面,新建转换。(1)复制链接在网页打开,点summary。(6)下载完就可以得到安装包了。
2024-05-17 11:06:12 295
原创 mysql5.7.27安装图解教程和问题
1.在这里设置密码主要是为了解决:ERROR 1045 (28000): Access denied for user ‘root'@‘localhost' (using password: NO)的问题。xxxxxx是你设置的新密码,敲击回车后若出现以下信息,证明修改成功!进入MySQL成功!7. 手动停止MySQL服务,在win10搜索栏内输入。,再输入你刚刚设置的密码,出现以下信息证明设置成功!,我的电脑是64位的,因此选择这项进行下载,点击。# 设置mysql数据库的数据的存放目录。
2024-03-06 09:33:42 820
原创 window下搭建Rocketmq服务及测试demo
cmd命令框执行进入至‘MQ文件夹\bin’下,然后执行‘start mqbroker.cmd -n 127.0.0.1:9876 autoCreateTopicEnable=true’,启动BROKER。1.3 配置环境变量,变量名:ROCKETMQ_HOME 变量值:MQ解压路径\MQ文件夹名;Source下载获取的是源码,需要经过编译后才可以使用,不过比较方便自行扩展,有扩展需求可以使用该版本自行编译。这里以编写时的最新版本为例,选择Binary版本下载,该版本为编译后的版本,可以直接使用。
2023-12-22 14:05:55 1070
原创 SpringBoot整合RocketMQ
1、实现SpringBoot与RocketMQ的整合2、解决在使用RocketMQ过程中可能遇到的一些问题3、介绍如何封装RocketMQ以便更好地使用。
2023-12-22 09:17:06 1260
原创 RocketMq简介
零拷贝(英语: Zero-copy) 技术是指计算机执行操作时,CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。➢零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除传输数据在存储器之间不必要的中间拷贝次数,从而有效地提高数据传输效率➢零拷贝技术减少了用户进程地址空间和内核地址空间之间因为上:下文切换而带来的开销可以看出没有说不需要拷贝,只是说减少冗余[不必要]的拷贝。
2023-12-21 10:30:10 948
原创 Vue弹窗的使用与传值
子组件在export default{}中通过props来进行接收,使用的时候可以直接当变量使用,js中通过this.closeValue取值,html中{{closeValue}}:visible.sync="" 是用来控制显示或者隐藏状态,当dialogBiomeVisible的值为true的时候为显示,false的时候就是隐藏,父组件向之组件传值的时候,需要在组件标签中定义一个自定义属性进行传值,可以传一个字符串,也可以传一个变量。使用element-UI中的。
2023-11-22 09:15:52 493
原创 Vue中watch的详解
对象和数组都是复杂数据类型,复杂数据类型存的是地址值,地址没有变,不会触发watch。这时我们需要进行深度监听,就需要加上一个属性 deep,值设为 true,使用deep属性可以监测到整个对象所有属性值的变化,某个属性发生变化,watch都会触发监听该对象。watch:侦听器,是Vue实例的一个属性,是用来响应数据的变化,需要在数据变化时执行异步或开销较大的操作时,这个方式是最有用的。如果只是监听单个简单的数据,使用watch的简写形式就可以满足需求。数据改变之前的值:该数据改变之前的值。
2023-11-22 09:13:56 202
原创 EasyExcel 注解fillForegroundColor
/ 字符串的内容的背景设置成天蓝 IndexedColors.SKY_BLUE.getIndex()// 字符串的头背景设置成粉红 IndexedColors.PINK.getIndex()// 内容的背景设置成绿色 IndexedColors.GREEN.getIndex()// 头背景设置成红色 IndexedColors.RED.getIndex()// 字符串的内容字体设置成20。// 字符串的头字体设置成20。// 内容字体设置成20。// 头字体设置成20。
2023-11-20 14:36:20 1271
原创 SpringBoot+EasyExcel设置excel样式
模板可通过@HeadFontStyle、@HeadStyle、@ContentFontStyle、@ContentStyle、@HeadRowHeight @ContentRowHeight等注解设置excel单元格样式;@ContentFontStyle(fontName = "宋体",fontHeightInPoints = 11)@HeadFontStyle(fontName = "宋体",fontHeightInPoints = 11)方式一:使用注解方式设置样式。//字体样式及字体大小。
2023-11-17 10:55:32 1809
原创 easyExcel使用场景
在项目开发中往往需要使用到数据的导入和导出,导入就是从Excel中导入到DB中,而导出就是从DB中查询数据然后使用写到Excel上。大数据的导入和导出,相信大家在日常的开发、面试中都会遇到。很多问题只要这一次解决了,总给复盘记录,后期遇到同样的问题就好解决了。好啦,废话不多说开始正文!
2023-11-09 15:24:57 764
原创 easyExcel导出百万级数据,亲测实用
ExcelProperty(value = "单位") 导出字段名设置。@ExcelIgnore 忽略不用导出。controller层,带分页的。pom.xml添加配置。实体类DemoNew。
2023-11-09 15:18:02 266 1
原创 easyExcel的导入
1.如此大批量数据的导出和导入操作,会占用大量的内存实际开发中还应限制操作人数。2.在做大批量的数据导入时,可以使用jdbc手动开启事务,批量提交。
2023-10-11 09:45:30 1311
原创 ruoyi-vue(若依前后端分离版本)环境搭建 用eclipse 安装redis 后端配置 配置node环境 前端配置
ruoyi-vue(若依前后端分离版本)环境搭建
2022-11-10 09:49:46 3416
原创 Git版本管理
前言:Git是目前最常用的版本控制系统,而IDEA又是目前日渐流行的ide,因此现在来介绍在IDEA上Git的入门使用。准备:Git、IDEA、GitHub账号开始之前先创建一个简单的测试项目将代码交由Git管理 VCS ——> Enable Version Control Integration... ——> 选择要使用的版本控制系统,选择Git ——> OK 完成后,IDEA下方会出现上述提示。到此,已将本项目与Git进行...
2022-05-29 10:36:28 215
原创 IDEA 安装Git
前言最近学习了一下VCS(Version Control System),这里我选择的是Git而不是SVN,因为Git在本地磁盘上就保留着所有当前项目的历史更新,所以处理起来速度飞快,这是使用空间换时间的处理方式。使用Git,即使在没有网络或VPN的情况下,你同样可以非常愉快的频繁提交更新到本地仓库,等到有了网络的时候再提交到远程的仓库(百度百科)。1.IDEA 安装GitIDEA虽然集成了git,但是并没有自带git.exe,所以需要自己下载。git.exe 分32和64位,可以在git官网下载
2022-05-29 10:31:43 14957
原创 CDH6.2安装失败了,如何重新安装
CDH6.2安装失败了,如何重新安装IT猿阅读(406)2020-03-28收藏0次评论1> 删除Agent节点的UUID #rm -rf /var/lib/cloudera-scm-agent/cm_guid2> 清空主节点CM数据库 进入主节点的mysql数据库,然后drop database cm;3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* ...
2020-12-21 16:49:21 944
原创 cdh集群迁移 ip更改
#---1.修改每个用户的hostsvi /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6172.6.10.20 dip001172.6.10.21 dip002172.6.10.22 dip003172.6.10.23..
2020-12-21 15:53:21 275
原创 无法检测 Cloudera Manager Server:CDH安装的一个坑:could not contact scm server at localhost:7182, giving up
错误:在web界面安装 agent那一步,抛错,单击信息查看如下初步分析:是用localhost:7182 无法连接scm server尝试解决办法:1.检查关闭防火墙2.检查python版本2.6.63.检查/etc/hosts文件,重启网络service network restart4.检查/etc/sysconfig/network文件,重启网络service network restart5.检查/etc/resolv.conf文件,重启网络service network...
2020-12-16 14:43:54 892
原创 centos7在线安装mysql8
1.配置Mysql 8.0安装源:sudo rpm -Uvhhttps://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm2.安装Mysql 8.0sudo yum --enablerepo=mysql80-community install mysql-community-server以下都选y看到complete就是安装完啦,是不是很简单...
2020-12-15 10:46:25 513
SSI实例(源码+mysql数据库+部署)
2014-11-25
xheditor-1.2.1(demo,js,api,doc)
2014-11-21
struts2的单个文件上传
2014-09-11
solar1.4环境配置
2014-05-28
oracle学习笔记(从入门到精通)
2014-05-28
ExtJS4中文教程2+开发笔记+JS+JQUERY
2013-10-29
无损分区工具 Acronis Disk Director Suite v10
2015-11-03
Spring源码深度解析
2015-06-13
hibernate4+spring3+struts2搭建框架实例
2014-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人