数据流(并行转化数据)

 static IEnumerable<string> GetFileNames(string path)
        {
            foreach (var fileName in Directory.EnumerateFiles(path, "*.txt"))
            {
                yield return fileName;
            }
        }
        static IEnumerable<string> LoadLines(IEnumerable<string> fileNames)
        {
            foreach (var fileName in fileNames)
            {
                using (FileStream stream = File.OpenRead(fileName))
                {
                    var reader = new StreamReader(stream,Encoding.Default);
                    string line = null;
                    while ((line = reader.ReadLine()) != null) yield return line;
                }
            }
        }
        static IEnumerable<string> GetWords(IEnumerable<string> lines)
        {
            foreach (var line in lines)
            {
                string[] words = line.Split(' ', ';', '.', ',');
                foreach (var word in words)
                {
                    if (!string.IsNullOrEmpty(word)) yield return word;
                }
            }
        }

        static ITargetBlock<string> SetupPipeline()
        {
            var fileNamesForPath = new TransformBlock<string, IEnumerable<string>>(path => GetFileNames(path));
            var lines = new TransformBlock<IEnumerable<string>, IEnumerable<string>>(fileNames => LoadLines(fileNames));
            var words = new TransformBlock<IEnumerable<string>, IEnumerable<string>>(lines2 => GetWords(lines2));
            var display = new ActionBlock<IEnumerable<string>>(coll =>
            {
                foreach (var s in coll) Console.WriteLine(s);
            });
            fileNamesForPath.LinkTo(lines);
            lines.LinkTo(words);
            words.LinkTo(display);
            return fileNamesForPath;
        }

//调用

var target = SetupPipeline();
            target.Post(@"C:\Users\chenss\Desktop");

//案例二

 var downloadString = new TransformBlock<string, string>(uri =>
           {
               string strResult = string.Empty;
               using (var reader = new StreamReader(uri, Encoding.Default))
               {
                   while (reader.ReadLineAsync().Result != null)
                   {
                       strResult += reader.ReadLineAsync().Result + " ";
                   }
               }
               Console.WriteLine($"下载 {strResult} ...");
               return strResult;
           });
            var createWordList = new TransformBlock<string, string[]>(text =>
            {
                Console.WriteLine("创建单词列表 ...");
                char[] tokens = text.Select(c => char.IsLetter(c) ? c : ' ').ToArray();
                text = new string(tokens);
                return text.Split(new[] { ' ' }, StringSplitOptions.RemoveEmptyEntries);
            });
            var filterWordList = new TransformBlock<string[], string[]>(words =>
            {
                Console.WriteLine("筛选单词列表 ...");
                return words.Where(word => word.Length > 3).Distinct().ToArray();
            });
            var findReversedWords = new TransformManyBlock<string[], string>(words =>
            {
                Console.WriteLine("查找颠倒的单词 ...");
                var wordsSet = new HashSet<string>(words);
                var query = from word in words.AsParallel() select word;
                return query;
            });
            var printReversedWords = new ActionBlock<string>(reversedWord =>
            {
                Console.WriteLine("Found reversed words {0}/{1}", reversedWord, new string(reversedWord.Reverse().ToArray()));
            });
            //var linkOptions = new DataflowLinkOptions { PropagateCompletion = true };
            downloadString.LinkTo(createWordList);
            createWordList.LinkTo(filterWordList);
            filterWordList.LinkTo(findReversedWords);
            findReversedWords.LinkTo(printReversedWords);
            downloadString.Post(@"C:\Users\chenss\Desktop\Test.txt");
            downloadString.Complete();
            printReversedWords.Completion.Wait();

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

双叶红于二月花

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值