js 对一个字段去重_JS单行、多行文本字符去重和行去重

之前偶然看到一篇使用正则实现字符去重及多行去重的文章。感觉写的有点糙，而且性能也不够高，对新手的使用和理解都有一点难度。于是忍不住就搞了一个比较可爱的出来。而且不是一般的可爱，因为随着字符量的增长，其性能甩出前者不知道多少条街。

知识点

这里的实现对知识点的要求非常的低，不论你是老司机还是菜鸟，基本上一眼就能看到其真谛；超好用的Array.from()[不知道？]，当然你可以可以用经典的slice.call()来轻松搞定古董浏览器们；

Array口杯接口Array.prototype.reduce(Func[, initialValue]):Array|TypeLike[initialValue]，它被广泛应用于各种求值操作，这里就不细讲了；

高颜值的String.prototype.match(string|RegExp):null|Array；

使用评率最高的Array.prototype.split(string|RegRxp):Array;

新的Array.prototype.includes(string):boolean，当然，你也可以使用其他接口如：indexOf()、find()、some()等；

正则表达式注意：本文不涉及对底层接口运行原理的解析。如有感兴趣，请自行查阅相关文档，进一步的了解前端的性能优化；

单行文本去重//单行文本去重

function SingleLineDistinct (str) {

// Array.prototype.slice.call(str|new String(str)) 可兼容不支持from接口的浏览器

return Array.from(str).reduce(

// 这里应该很好明白是在干什么吧？

(pre,cur) => (pre.match(cur) ? pre : pre + cur),

// 需要传入一个初始空字符串参数，否则你将得到的是一个字符串被拆分后的数组。

""

);

}复制代码

多行字符去重

多行字符去重直接就是基于单行去重的简单封装function MultiLineCharDistinct (mlstr) {

// 是不是超级简单？

return mlstr.split("\n").map(SingleLineDistinct).join("\n")

}复制代码

多行行去重

这个也是非常的简单的，用一下数组判断接口就行啦。function MultiLineDistinct (str, spl = "\n") {

// 这里就不能给reduce传入初始空字符串了，因为那样会返回

return str.split(spl).reduce(

// 判断一下，初始数组中有没有与当前行相同的字符串，没有则push当前行，并返回数组；

(pre,cur) => (!pre.includes(cur) && pre.push(cur),pre),

[]

)

// 进行行拆分

.join(spl);

}复制代码

见证奇迹的时刻到了

这里还是贴一下前面提到的运用正则进行单行去重的代码吧:function DistinctString(s){

var a;

while((a=s.replace(/(.)(.*?)\1/,"$1$2"))!=s) s=a;

return s;

}复制代码

接下来我们就来进行两个单行去重函数的性能进行比较了：【高能预警！】

首先，我们给SingleLineDistinct()和DistinctString()函数添加执行时间打印console.time()和console.timeEnd()[这里非本文重点，不做应用阐述]，变成了这样：function DistinctString(s){

console.time('dstring');

var a;

while((a=s.replace(/(.)(.*?)\1/,"$1$2"))!=s) s=a;

console.timeEnd('dstring');

return s;

}复制代码//单行文本去重

function SingleLineDistinct (str) {

console.time('sldist');

str = Array.from(str).reduce(

(pre,cur) => (pre.match(cur) ? pre : pre + cur),

""

);

console.timeEnd('sldist');

return str;

}复制代码

我们定义一个let str = "lsdjfl...."的随机重复字符变量，然后就该它们俩发挥了：

咦~~，彼此彼此嘛...

DistinctString：不好意思，失误，再来！

DistinctString：SingleLineDistinct你等等我呀！

SingleLineDistinct：不好意思，你实在太慢了。

哈哈哈哈，怎么样，是不是很有趣？希望你各位喜欢。如果你们有更好更快的方法，欢迎交流哟~声明：本文的内容并不是对正则表达式的否定，正则的牛逼之处是无可替代的，请各位不要误解。仅仅是想通过这样一个栗子，告诉大家每一种方法都有它的长处和短处。想要编写高性能、高质量的代码，那么你就必须要了解其运行原理和底层技术，这样才能让你在编程时选择更好的代码组织模式，提高应用的执行效率。