Fantasy_Virgo的博客

原创 mysql中删除一个表中的重复记录并只保留一条

爬虫爬数据的时候，有些记录会重复地插入数据库，如果直接用这些数据做实验，容易对实验结果造成影响，所以必要的时候，需要先清洗数据：把重复记录删除掉只保留一条。我们可以在实验过程中清洗数据，也可以直接在数据库中删除重复的数据。 先从数据库中读取，在实验过程中去重。这样做无法解决根本问题，每次运行实验代码都要去重一次； 用sql语句实现。重点是写出高效率的且不违反mysql要求（mysql不允许边查...