1.应用场景分析:假设有一组已知数量的数据,按照一定的业务处理规则处理并保存数据库,如何提升数据处理的效率并完成数据保存(具体情况具体分析)?此处使用控制台方式模拟输入数据(类比保存数据库处理)。
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
namespace ConsoleApi
{
/// <summary>
/// 多线程批量数据处理
/// </summary>
public class MultithreadBatchDataProcessing
{
//线程安全队列
private ConcurrentQueue<ResponseModel> queue = new ConcurrentQueue<ResponseModel>();
/// <summary>
/// 模拟设置数据
/// </summary>
public void SetData()
{
Console.WriteLine($"开始数据设置,时间:{DateTime.Now};");
for (int i = 0; i < 10000; i++)
{
var model = new ResponseModel { Code=i, Msg=$"第{i+1}次循环", Data=$"产生随机数:{new Random().Next(1000,10000)}" };
queue.Enqueue(model); //模拟数据入队
Thread.Sleep(1); //这里是随机数生成时需要
}
Console.WriteLine($"10000条数据设置完毕!时间:{DateTime.Now};");
}
/// <summary>
/// 多线程处理数据
/// </summary>
public void MultitDataProcessing()
{
int threadCount = 10; //开启10个线程
for (int i = 0; i < threadCount; i++)
{
string fileName = $"task{i}.txt";
//开启新线程
Task.Factory.StartNew(() =>
{
var sb = new StringBuilder();
int j = 0;
//数据循环出队
while (queue.TryDequeue(out ResponseModel model))
{
//处理数据
if (model != null)
sb.AppendLine($"==》Code={model.Code},Msg={model.Msg},Data={model.Data}");
if (j % 100 == 0 || (queue.Count.Equals(0) && j < 100))
{
Console.WriteLine($"每100条输出一次控制台,并暂停100毫秒, 第{i}次文件:{fileName}");
Console.WriteLine(sb.ToString());
sb = new StringBuilder();
Thread.Sleep(100);
}
j++;
}
});
}
}
}
}
2. 模拟10000条数据批量处理,每100条数据保存一次,调用显示如下:
var mbdp = new MultithreadBatchDataProcessing();
mbdp.SetData();
mbdp.MultitDataProcessing();
C# 多线程批量数据处理演示Demo完毕。保存数据库时可以创建DataTable采用SqlBulkCopy每100条推入一次即可;