- 博客(6)
- 收藏
- 关注
RSS订阅
原创 解决用SSIS组件导入CSV文件时，把CSV文件名一起插入到数据库表中的问题
做增量的ETL时，经常遇见的需求是：根据本地的文件名，来判断ETL程序是否需要再次运行，如果文件已经运行过，则跳过，否则执行。满足整个需求，需要把本地文件的名或路径放入到数据库的表中，然后再根据文件名判断是否要运行后面的etl。网上找了好久，也没有找到答案，因此我自己写了一段代码，实现了通过SSIS组件把本地文件的完整路径插入到数据库表中，供大家参考。下面是详细步骤：准备工作：先在数据库里面新建一个表（用于接收本地的csv文件数据），在本地路径新建一个csv文件。如图所示：数据库：本地文件：第
2021-06-28 17:49:26
1134
3
原创 运用ssis组件实现邮件发送，内容来源于数据库表
ETL的job邮件是ETL过程的重要组成部分，它能让用户知道当前的数据是否可用，job失败时也可以帮助程序员快速的的定位问题。发送邮件的方式有很多，下面是介绍使用SSIS组件实现邮件的发送，发送的内容来源于数据库表的内容，这么做的好处时可以自定义发送的内容。下面是详细步骤：准备工作：先在数据库里面创建一个测试的错误日志表，并插入测试数据。CREATE TABLE SSIS_LOG (id int identity(1,1),ErrorType nvarchar(50),ErrorComments
2021-06-30 18:20:51
3048
1
原创 SSIS变量如何获取当前的系统时间(字符串格式年月日)
在做增量的ETL时候，经常遇到根据系统的当前时间来判断需要读取哪些线下文件，因此需要我们根据一个变量来获取到当前的系统时间。下面是我获取系统当前时间的方法：变量的表达式里面填上下面的代码：(DT_STR, 4, 1252) DATEPART("yy" , GETDATE()) + RIGHT("0" + (DT_STR, 2, 1252) DATEPART("mm" , GETDATE()), 2)+RIGHT("0" + (DT_STR, 2, 1252) DATEPART("dd" , GETDAT
2021-06-29 11:59:37
914
原创 解决使用SSIS工具导入execl(csv/txt)文件时数据的中文乱码问题
不知道大家日常开发中有没有遇到这样一个情况，在使用SSIS工具导入execl、csv、txt文件的数据时，发现数据已经成功进入到数据库，但是一查询，发现中文乱码了，其实这是由于平面文件和我们的数据库字符集不统一导致的。下面是我解决中文乱码的方法，供大家参考。**第一步：**编辑平面连接管理器，更改区域设置（选择中文(简体，中国)），代码页(选择65001(UTF-8))，如图：注意：要不要分隔符和文本限定符用什么按照自己需要导入的平面文件的实际情况来。我的csv文件的内容因为是用"进行分割的，所以在文
2020-05-27 16:35:18
2057
原创 通过批处理下载S3上的文件
最近接了一个项目，数据文件都是存放在S3上面，因此我写了一个批处理文件，从S3上把数据下载下来。下面是详细步骤，供大家参考。第一步、准备工作。下载两个软件，AWS S3 CLI（此软件是AWS的服务器）；S3 Browser（访问S3桶）。两个软件都是下一步下一步安装就行。第二步、配置。1、配置S3 Browser，打开软件，然后选择Accounts–>add New Accounts,然后填入你要访问的S3桶名access_key_id和secret_access_key。如图所示：注意A
2020-05-15 16:35:20
1650
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人