自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 解决用SSIS组件导入CSV文件时,把CSV文件名一起插入到数据库表中的问题

做增量的ETL时,经常遇见的需求是:根据本地的文件名,来判断ETL程序是否需要再次运行,如果文件已经运行过,则跳过,否则执行。满足整个需求,需要把本地文件的名或路径放入到数据库的表中,然后再根据文件名判断是否要运行后面的etl。网上找了好久,也没有找到答案,因此我自己写了一段代码,实现了通过SSIS组件把本地文件的完整路径插入到数据库表中,供大家参考。下面是详细步骤:准备工作:先在数据库里面新建一个表(用于接收本地的csv文件数据),在本地路径新建一个csv文件。如图所示:数据库:本地文件:第

2021-06-28 17:49:26 1112 3

原创 SQL Server获取特定字符前的数字

Sql Server获取特定字符前的数字

2022-08-09 11:38:38 4169 1

原创 运用ssis组件实现邮件发送,内容来源于数据库表

ETL的job邮件是ETL过程的重要组成部分,它能让用户知道当前的数据是否可用,job失败时也可以帮助程序员快速的的定位问题。发送邮件的方式有很多,下面是介绍使用SSIS组件实现邮件的发送,发送的内容来源于数据库表的内容,这么做的好处时可以自定义发送的内容。下面是详细步骤:准备工作:先在数据库里面创建一个测试的错误日志表,并插入测试数据。CREATE TABLE SSIS_LOG (id int identity(1,1),ErrorType nvarchar(50),ErrorComments

2021-06-30 18:20:51 3028 1

原创 SSIS变量如何获取当前的系统时间(字符串格式年月日)

在做增量的ETL时候,经常遇到根据系统的当前时间来判断需要读取哪些线下文件,因此需要我们根据一个变量来获取到当前的系统时间。下面是我获取系统当前时间的方法:变量的表达式里面填上下面的代码:(DT_STR, 4, 1252) DATEPART("yy" , GETDATE()) + RIGHT("0" + (DT_STR, 2, 1252) DATEPART("mm" , GETDATE()), 2)+RIGHT("0" + (DT_STR, 2, 1252) DATEPART("dd" , GETDAT

2021-06-29 11:59:37 912

原创 解决使用SSIS工具导入execl(csv/txt)文件时数据的中文乱码问题

不知道大家日常开发中有没有遇到这样一个情况,在使用SSIS工具导入execl、csv、txt文件的数据时,发现数据已经成功进入到数据库,但是一查询,发现中文乱码了,其实这是由于平面文件和我们的数据库字符集不统一导致的。下面是我解决中文乱码的方法,供大家参考。**第一步:**编辑平面连接管理器,更改区域设置(选择中文(简体,中国)),代码页(选择65001(UTF-8)),如图:注意:要不要分隔符和文本限定符用什么按照自己需要导入的平面文件的实际情况来。我的csv文件的内容因为是用"进行分割的,所以在文

2020-05-27 16:35:18 2056

原创 通过批处理下载S3上的文件

最近接了一个项目,数据文件都是存放在S3上面,因此我写了一个批处理文件,从S3上把数据下载下来。下面是详细步骤,供大家参考。第一步、准备工作。下载两个软件,AWS S3 CLI(此软件是AWS的服务器);S3 Browser(访问S3桶)。两个软件都是下一步下一步安装就行。第二步、配置。1、配置S3 Browser,打开软件,然后选择Accounts–>add New Accounts,然后填入你要访问的S3桶名access_key_id和secret_access_key。如图所示:注意A

2020-05-15 16:35:20 1647

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除