自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(25)
  • 收藏
  • 关注

原创 java日志笔记

Commons Logging可以挂接不同的日志系统,并通过配置文件指定挂接的日志系统。默认情况下,Commons Loggin自动搜索并使用Log4j(Log4j是另一个流行的日志系统),如果没有找到Log4j,再使用JDK Logging。默认级别是INFO,因此,INFO级别以下的日志,不会被打印出来。SLF4J类似于Commons Logging,也是一个日志接口,而Logback类似于Log4j,是一个日志的实现。始终使用SLF4J的接口写入日志,使用Logback只需要配置,不需要修改代码。

2024-12-05 22:03:18 794

原创 Java从入门到精通笔记篇(十三)

lambda表达式不能被独立执行,因此必须实现函数式接口,并且会返回一个函数式接口的对象。可将其语法用下列的方式理解误区警示“->”符号是由英文状态下的“-”和“>”组成的,符号之间没有空格。lambda表达式中可以用“(a1,a2,a3)”的方法表示有参抽象方法,圆括号里的标识符对应抽象方法的参数。如果抽象方法中只有一个参数,lambda表达式则可以省略圆括号。lambda表达式中的参数不需要与抽象方法的参数名称相同,但顺序必须相同。

2024-11-19 21:04:38 849 1

原创 Java从入门到精通笔记篇(十二)

类名<T>T是泛型的名称,代表某一种类型。如果不指定具体类型,T则采用Object类型。在使用类中的方法传递或返回数据类型时将不再需要进行类型转换操作,而是使用在声明泛型类对象时“< >”符号中设置的数据类型。在定义泛型类时,可以声明多个类型,在实例化指定类型的对象时就可以指定多个类型。定义泛型类时也可以声明数组类型,但注意不可以使用泛型来建立数组的实例。使用泛型实例化常用集合类泛型的类型参数只能是类类型,不可以是简单类型,如A<int>这种泛型定义就是错误的。泛型的类型个数可以是多个。

2024-11-12 10:58:14 776

原创 Java从入门到精通笔记篇(十一)

集合可以看作是一个容器集合类与数组的不同之处是:数组的长度是固定的,集合的长度是可变的;数组用来存储基本类型的数据,集合用来存储对象的引用。常用的集合有List集合、Set集合和Map集合,其中List集合与Set集合继承了Collection接口,各接口还提供了不同的实现类。

2024-10-18 10:29:56 1000

原创 Java从入门到精通笔记篇(十)

在常用类中主要包含可以将基本数据类型封装起来的包装类、解决常见数学问题的Math类、生成随机数的Random类,以及处理日期时间的相关类等。

2024-10-11 15:57:06 564

原创 Java从入门到精通笔记篇(九)

单个字符可以用char类型进行保存,多个字符组成的文本需保存在String对象中。String通常被称为字符串,一个String对象最多可以保存(2^32-1)个字节(占用4GB空间大小)的文本内容。

2024-09-30 16:17:48 967

原创 Java从入门到精通笔记篇(八)

在程序中使用自定义异常类,大体可分为以下几个步骤:(1)创建自定义异常类。(2)在方法中通过throw关键字抛出异常对象。(3)如果在当前抛出异常的方法中处理异常,可以使用try…catch语句块进行捕获和处理,否则在方法的声明处通过throws关键字指明要抛出给方法调用者的异常,继续进行下一步操作。(4)在出现异常的方法的调用者中捕获并处理异常。在项目中创建Tran类,在该类中创建一个带有int型参数的方法avg(),该方法用来检查参数是否小于0或大于100。

2024-09-29 10:27:39 934

原创 Java从入门到精通笔记篇(七)

在类中应用包与权限修饰符,可以控制其他人对类成员的访问。Java中还有一个更为有效的隐藏实现细节的方式,那就是使用内部类,通过使用内部类机制可以把实现细节向上转型为被内部类实现的公共接口。只要将内部类中的方法设置为类最小范围的修饰权限,即可将内部类的实现细节有效地进行隐藏。

2024-09-27 10:01:39 430

原创 Java从入门到精通笔记篇(六)

继承机制下,用户可以复用一些定义好的类,减少重复代码的编写。多态机制下,用户可以动态调整对象的调用,降低对象之间的依存关系。

2024-09-20 17:33:26 722

原创 Java从入门到精通笔记篇(五)

通常都会将对象划分为两个部分,即静态部分与动态部分。顾名思义,静态部分就是不能动的部分,这个部分被称为“属性”,任何对象都会具备其自身属性,动态部分即对象可执行的动作,这部分被称为“行为”。描述对象与类之间的关系。

2024-09-13 16:11:33 1161

原创 Java从入门到精通笔记篇(四)

数组是具有相同数据类型的一组数据的集合。

2024-09-11 12:02:15 851

原创 Java从入门到精通笔记篇(三)

在Java语言中,语句是最小的组成单位,每条语句都必须使用分号作为结束符。控制循环的跳转需要使用break和continue两个关键字,这两条跳转语句的跳转效果不同,break语句是中断循环,continue语句是执行下一次循环。当条件表达式的返回值为真时,则执行“{}”中的语句,当执行完“{}”中的语句后,重新判断条件表达式的返回值,直到表达式返回的结果为假时,退出循环。首先计算表达式的值,如果表达式的计算结果和某个case后面的常量值相同,则执行该case语句后的若干条语句,直到遇到break语句。

2024-09-10 13:42:11 449

原创 Java从入门到精通篇(二)

当文档注释出现在声明(如类的声明、类的成员变量的声明、类的成员方法的声明等)之前时,会被Javadoc文档工具读取作为Javadoc文档内容。在类的方法体中声明的变量(方法内部定义,在“{”与“}”之间的代码中声明的变量)称为局部变量。该方法从“{”开始,至“}”结束。long型:由于long类型变量的取值范围比int类型变量的取值范围大,且属于高精度数据类型,因此在赋值时要和int型做出区分,需要在整数后加L或者l(小写的L)。在程序中,一般会根据变量的“有效范围”将变量分为“成员变量”和“局部变量”。

2024-09-10 10:59:11 936

原创 Java从入门到精通笔记篇(一)

Java语言编写的程序既是编译型的,又是解释型的。程序代码经过编译之后转换为一种称为Java字节码的中间语言,Java虚拟机(JVM)将对字节码进行解释和运行。编译只进行一次,而解释在每次运行程序时都会进行。编译后的字节码采用一种针对JVM优化过的机器码形式进行保存,虚拟机将字节码解释为机器码,然后在计算机上运行。Java主要分为两个版本:Java SE和Java EE。Java SE全称Java platform standard edition,是Java的标准版,主要用于桌面应用程序开发。

2024-09-10 10:53:56 257

原创 学习心得体会:深入探讨大语言模型的世界——读《自然语言处理:大模型理论与实践》(预览版)有感

西南财经大学教授,博导,四川省学术和技术带头人后备人选,金融智能与金融工程四川省重点实验室副主任,通用人工智能与数字经济创新团队负责人,计算机与人工智能学院实践能力中心主任,西南财经大学学术百人,美国罗切斯特大学联合培养博士,法国巴黎六大高级访问学者,中国人工智能学会自然语言理解专委会委员,四川省计算机学会自然语言理解专委会副主任委员。

2024-08-23 15:11:17 1234

原创 综合实例3之数据清洗

一、加载演员数据至演员维度表1.打开kettle工具,创建转换2.配置表输入控件3.配置表输入2控件4.配置插入更新控件5.运行转换二、加载电影数据至电影维度表1.打开kettle工具,创建转换2.配置表输入控件3.配置表输入2控件4.配置数据库查询控件5.配置数据库查询2控件6.配置值映射控件7.配置列拆分为多行控件8.配置增加常量控...

2021-11-18 15:47:36 282

原创 综合实例2之数据清洗

一、加载用户数据至用户维度表1.打开kettle,创建转换2.配置表输入控件3.配置表输入2控件4.子转换:打开kettle,新建转换5.配置映射输入规范控件6.配置数据库查询控件7.配置数据库查询2控件8.配置数据库查询3控件9.配置过滤记录控件10.配置JavaScript代码控件11.配置字段选择控件(完成子转换的配置)12.配置映射控件...

2021-11-08 22:32:52 197

原创 综合实例之数据清洗

一、加载日期数据至日期维度表1.打开kettle工具,创建转换。2.配置生成记录控件3.配置增加序列控件4.配置Javascript代码控件5.配置表输出控件6.运行转换二、加载时间数据至时间维度表1.打开kettle工具,创建转换2. 配置生成记录控件3.配置增加序列控件4.配置JavaScrip代码t控件5配置生成记录2控件6.配置增加序列2控件7.配置生成记录3控件...

2021-11-08 20:37:50 447

原创 源数据处理与排序记录

一、excel输入1.创建转换2.配置excel输入控件3.运行转换,显示数据二、生成记录1.创建转换2.配置生成记录控件3.运行转换,显示数据三、生成随机数1.创建转换2.配置生成随机数控件3.进行转换调试4.运行转换四、获取系统信息1.创建转换2.配置获取系统信息控件3.运行转换五、排序记录1.创建转换2.配置excel输入控件3.配置...

2021-11-03 20:04:56 136

原创 数据加载之数据清洗

一、全量加载1、创建转换2、配置执行sql脚本控件3、配置表输入控件4、配置表输出控件5、运行转换二、增量加载1、打开kettle工具,创建转换二、配置表输入控件3、配置插入/更新控件4、修改数据表并进行转换...

2021-11-03 18:40:20 228

原创 数据转换之数据清洗

一、实现对文本文件personnel_data.txt中的数据进行数据粒度的转换,即将文本文件personnel_data.txt中字段为household_register的数据统一成省份(直辖市),并输出到文本文件personnel_data_new.txt中。(1)打开Kettle工具,新建转换使用Kettle工具,创建一个转换generalization,并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。(2)配置文本文件输入控件

2021-10-22 23:48:06 758

原创 数据的清洗与检验之数据清洗

一、对文件merge.csv进行完全去重1、打开kettle工具,新建转换。添加相应的控件,如图所示。2、配置csv文件输入控件。添加好相应的文件,单击获取字段,kettle检索csv文件进行分析。3、配置唯一行控件。在用来比较的字段处添加去重字段,如图所示。4、运行转换。二、对文件people- survey.txt中的缺失值进行填充。1、打开kettle工具,创建转换。2、配置文本文件输入控件。添加要填充缺失值的文件。单击内容选项卡,在分隔符处插入一个制表符,取消勾选头部复选框。单击

2021-10-13 10:42:20 417

原创 kettle工具实现CSV文件与JSON文件的抽取

一、抽取CSV文件1、打开kettle工具创建一个转换,并添加C S V文件输入控件以及表输出空间,并添加连接线。2、配置CSV文件输入控件。单击浏览按钮选择要输入的文件,点击获取字段自动检索该文件,并对文件中的字段类型,格式,长度精度等属性进行分析,如图所示。3、配置表输出控件。单击新建按钮配置数据库连接。4、单击目标表中右侧的浏览按钮选择输出的目标表,勾选指定数据库,字段的复选框将字段与文件进行匹配。表输出控件的配置效果,如图所示。5、运行转换并通过sqlyog工具查看数据表CSV的

2021-10-07 16:21:03 355

原创 kettle的转换与作业

kettle的转换与作业——读大数据技术与应用丛书数据清洗有感1、转换第一步:打开spoon脚本,启动kettle工具,在工具栏处选择文件,新建转化,选择保存文件,此时名称默认为转换1,可以根据需求,进行重命名。第二步:单击输入,将表输入拖至工作区,单击输出,同时将文本文件输出也拖至工作区的合适位置。第三步:按住ctrl键的同时,选中表输入与文本文件输出,右击,选择新建节点连接。选择好起始步骤与目标步骤,建立好连接即可。如下图所示。注意(可以在主界面的空白区域新建注释,进行输入,以便于后续的阅读。

2021-09-20 17:57:05 1682

原创 读书笔记之大数据技术与应用丛书数据清洗第一章

读书笔记之大数据技术与应用丛书数据清洗第一章数据清洗概述1、1数据清洗的背景。数据是广发的会夹杂着不完整,重复以及错误的数据谷对原始数据进行有效的清洗,是大数据分析和应用过程中的关键环节。数据质量:是指在业务环境下数据符合数据,消费者的使用目的能满足业务场景,具体需求的程度。数据质量是一个相对的概念。数据质量的特点:第一:业务需求会随时间变化,数据质量也会随时间发生变化。第二:数据质量可以借助信息系统度量,但独立于信息系统存在。第三:数据质量存在于数据的整个生命周期。数据质量的评价目标主要

2021-09-10 17:08:26 380

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除