Python数据挖掘-数据去重及清洗优化(三)

今天一大早被知了叫醒了，那我们开始继续学习吧~

上节课我们实现了数据的自动爬取并存入数据库，但是数据挖掘的工作没有结束，更厉害的功能还在后面。今天要学习的是如何把数据去重、统一日期格式，之前的基础知识就不废话了，不懂得看看我前面写的内容，不明白的知识点自己百度，网上有好多解释。

直接上代码讲解

注意一定要练习，哪怕是看着一点点敲也比复制领会的快，我们学习的是解决问题的思路和方法，关键的知识点一定要掌握。基础知识一定要一点的练习编写，一遍不行写十遍、二十遍。 遇到问题先要自己思考解决问题，一定要解决了才能干别的。比如我遇到问题时，晚上我肯定睡不好，当灵感来临的时候我会马上起床来到电脑前把问题解决掉，才能睡的踏实些。 实在解决不了，那也没办法啦，只能说明学艺不精啦~~~

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2020/8/8 08:57
# @Author  : Jianhua Wang
# @Site    : wjhwang@126.com
# @File    : 数据去重及清洗优化.py
# @Software: PyCharm

import requests
import re
import pymysql
import time

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

def baidu(company):
    #获取网页源代码
    url = 'h