Python数据挖掘-数据去重及清洗优化(三)

今天一大早被知了叫醒了,那我们开始继续学习吧~

上节课我们实现了数据的自动爬取并存入数据库,但是数据挖掘的工作没有结束,更厉害的功能还在后面。今天要学习的是如何把数据去重、统一日期格式,之前的基础知识就不废话了,不懂得看看我前面写的内容,不明白的知识点自己百度,网上有好多解释。

直接上代码讲解

注意一定要练习,哪怕是看着一点点敲也比复制领会的快,我们学习的是解决问题的思路和方法,关键的知识点一定要掌握。基础知识一定要一点的练习编写,一遍不行写十遍、二十遍。 遇到问题先要自己思考解决问题,一定要解决了才能干别的。比如我遇到问题时,晚上我肯定睡不好,当灵感来临的时候我会马上起床来到电脑前把问题解决掉,才能睡的踏实些。 实在解决不了,那也没办法啦,只能说明学艺不精啦~~~

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2020/8/8 08:57
# @Author  : Jianhua Wang
# @Site    : wjhwang@126.com
# @File    : 数据去重及清洗优化.py
# @Software: PyCharm

import requests
import re
import pymysql
import time

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

def baidu(company):
    #获取网页源代码
    url = 'h
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页