Java C#通用数据去重算法

上次记录与本次记录去重

文章里面的文件读取参考我这章文章

https://blog.csdn.net/qq_18383329/article/details/106781945

首先说下我的基本思想：

1. 在第一数据到来时，先读取上一次存储的数据，然后将上一次的数据转成List变量同时将本次数据也转为List。
2. 去遍历本次数据然后每遍历一次使用

bool contains = list1.Contains(str);

看上次记录中和这次是否有相同的数据，如果有相同的数据就不往List中添加该元素，如果没有就网List中新增一个记录。

 foreach (String str in list)
            {
                bool contains = list1.Contains(str);
                Console.WriteLine(contains+"->"+str);
                if (!contains)
                {
                    Console.WriteLine("去重后的数据"+str);
                    arrayList.Add(str);
                }
            }

封装后的方法

        /// <summary>
        /// 去除重复数据
        /// </summary>
        /// <param name="da"></param>
        /// <returns></returns>
        public static String[] DuplicateRemoval(String [] da)
        {
            //当前数据
            List<String> list = new List<string>(da);
            //上一次数据
            String[] backs = (String [])FileUnit.fileToObj("LastRecord");
            List<String> list1 = new List<string>(backs);
            //去重后的数据
            List<String> arrayList = new List<String>();
          
            foreach (String str in list)
            {
                bool contains = list1.Contains(str);
                Console.WriteLine(contains+"->"+str);
                if (!contains)
                {
                    Console.WriteLine("去重后的新数据"+str);
                    arrayList.Add(str);
                }
            }
         // 将List转String []
            String[] strings = arrayList.ToArray();
            
            return strings ;
        }

运行结果图

copy后可以直接使用😊

这个就是基本的思路吧，有不对的地方和需要优化的地方希望大佬门指出来[手动滑稽]