Python3 数据挖掘系统搭建（四）

上一节学习了数据清洗如何对内容去重，这一节继续学习一个完整的挖掘系统是怎么构建的，以搜索百度新闻数据为例。

首先要建立评分系统需要创建一个数据表，起名为article吧，

字段如下图：字段有company,title,href,source,date,score

 

梳理下思路，想清楚我们要干啥，我总结了下步骤，其实就是把前面内容作了一个融合‘合成一个完整的系统’：
1.获取网页源代码
2.编写正则提炼内容 和前面的写法一样，不懂得翻翻前面的代码
3.数据清洗，日期格式的统一处理
4.数据深度清洗，去重及内容替换 
5.打印清洗后的数据 
6.将数据存入数据库及数据去重
    6.1 查询数据，为之后的数据去重做准备
    6.2 判断数据是否在原数据库中，不在的话才进行数据存储，article前面新建的表
7.批量爬取多家公司 

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2020/8/8 18:01
# @Author  : Jianhua Wang
# @Site    : 
# @File    : 完整的百度新闻数据挖掘系统.py
# @Software: PyCharm

import requests
import re
import pymysql
import time
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

def baidu(company):
    # 1.获取网页源代码
    url = 'https://www.baidu.com/s?tn=news&rtt=4&bsst=1&cl=2&wd=' + company  #其中设置rtt=4则为按时间排序，如果rtt=1则为按焦点排序
    res = requests.get(url, headers=headers, timeout=10).text

    # 2.编写正则提炼内容 和前面的写法一样，不懂得翻翻前面的代码
    p_href = '<h3 class="c-title">.*?<a href="(.*