读pcap文件，bcp入库，一个小项目的备忘录

最新推荐文章于 2024-10-01 22:54:40 发布

weixin_34235371

最新推荐文章于 2024-10-01 22:54:40 发布

阅读量119

点赞数

文章标签：网络数据库

原文链接：http://www.cnblogs.com/billowdragon/archive/2011/06/22/2086556.html

版权

数据量很大，每天几十G的pcap文件。思路是这样的：读出pcap文件中的数据，拼成字符串，写到文件里，用bcp方式入库。库是sql server。

遇到的问题：

1。读pcap文件。Pcap文件中包含客户端用udp方式发送出的数据。用到SharpPcap。代码不贴了，链接的地址上有很详细的例子。读出的每个包中，前42个字节不是数据，应该是地址等乱七八糟的东西，这之后才是用udp发出的数据。读出的字节需要转换成别的数据类型的时候，用BitConverter.ToUInt16之类的方式。如果是包含中文的字符串，可以用Encoding.UTF8.GetString得到字符串。注意算好各种数据类型的长度。

2. 写bcp方式入库的文件。开始的时候用StreamWriter直接写文件，导入到库里中文都是乱码。换成BinaryWriter w=new BinaryWriter(fs,Encoding.Default)，Encoding.Default.GetBytes(decodedStr)，问题解决。

3. Bcp的设置。数据库配置：

View Code

EXEC sp_configure ' show advanced options ' , 1
go
RECONFIGURE
go
sp_configure xp_cmdshell, 1
go
RECONFIGURE
Go

导入的sql

-- 导出格式文件
EXEC master..xp_cmdshell
' BCP test..t format nul -f G:\t.fmt -c -T '
-- 导入数据
EXEC master..xp_cmdshell
' BCP test..tt in G:\test.dat -T -c -f G:\t.fmt -T '

-c表示用\t表示数据元素之间的分隔，\r\n表示一行的结束。

在本机（t510i）上测试，40秒可以导入2m条数据。

Bulk insert比bcp慢的多。

转载于:https://www.cnblogs.com/billowdragon/archive/2011/06/22/2086556.html