13 Python进行数据清洗优化

已于 2023-11-26 04:27:41 修改
阅读量914 收藏 5
点赞数 1
分类专栏： Python大数据挖掘与分析 文章标签： 数据库 python 爬虫 数据分析
于 2022-09-20 22:11:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eric005/article/details/126867194
版权

数据清洗优化

数据去重

数据去重的思路是：爬取一条新闻数据后先查询数据库，如果发现该标题已存在，那么就不存入数据库中去。
查询数据库代码如下：

sql_1 = 'SELECT * FROM test WHERE company = %s' # 按公司名称选取数据
cur.execute(sql_1, company) # 执行SQL语句，选取公司名称为company的
data_all = cur.fetchall() # 提取所有数据
title_all = [] # 创建空列表存储新闻标题
for j in range(len(data_all)): # 遍历提取的数据
    title_all.append(data_all[j][1]) # 将数据中的新闻标题存入列表中

进行判断：

if title[i] not in title_all:
    sql_2 = 'INSERT INTO test(company, title, href, source, date) VALUES(%s, %s, %s, %s, %s)'
    cur.execute(sql_2, (company, title[i], href[i], spurce[i], date[i]))
    db.commit()

如果不在数据库内就执行存入操作，将上述代码汇总为：

for i in range(len(title)):
    db = pymysql.connect(host='localhost', port=3308, user='root', password='', database='pachong', charset='utf8')
    cur = db.cursor()  # 获取会话指针
    # 1.查询数据
    sql_1 = 'SELECT * FROM test WHERE company = %s' # 按公司名称选取数据
    cur.execute(sql_1, company) # 执行SQL语句，选取公司名称为company的
    data_all = cur.fetchall() # 提取所有数据
    title_all = [] # 创建空列表存储新闻标题
    for j in range(len(data_all)): # 遍历提取的数据
        title_all.append(data_all[j][1]) # 将数据中的新闻标题存入列表中
    # 2.判断是否存入数据库中，不在进行存入
    if title[i] not in title_all:
        sql_2 = 'INSERT INTO test(company, title, href, source, date) VALUES(%s, %s, %s, %s, %s)'
        cur.execute(sql_2, (company, title[i], href[i], spurce[i], date[i]))
        db.commit()
        cur.close()
        db.close()

数据清洗

# 1. 用strip()删除空格以及换行符等非相关符号
res = res.strip()
# 2. 用split()截取需要的内容
date = date.split('')[0]
# 3. 用sub()进行替换内容
title = '阿里巴巴<em>xxxx'
title = re.sub('<.*?>', '', title) # 将形式为<xxx>的内容换为空值

日期格式统一

import re
import time
from datetime import datetime

def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'):
    hours = int(hours)
    t = time.time() - hours * 60 * 60
    t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t))
    return t

def parse_ymd(s):
    aa = re.findall(r"(\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2})", s)
    if aa != []:
        a = aa[0]

    else:

        if '月' in s:
            s = s.replace('月', '-').replace('日', '')
            mon_s, day_s = s.split('-')
            year_s = '2022'
            a = datetime(int(year_s), int(mon_s), int(day_s))
            a = a.strftime('%Y-%m-%d %H:%M:%S')

        long = re.findall('(-)', s)
        if len(long) == 2:
            year_s, mon_s, day_s = s.split('-')
            a = datetime(int(year_s), int(mon_s), int(day_s))
            a = a.strftime('%Y-%m-%d %H:%M:%S')

        if len(long) == 1:
            mon_s, day_s = s.split('-')
            year_s = '2022'
            a = datetime(int(year_s), int(mon_s), int(day_s))
            a = a.strftime('%Y-%m-%d %H:%M:%S')
        else:
            if '前天' in s:
                a = 3
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '天前' in s:
                a = re.findall('(.*?)天前', s)
                a = beforeHours2Date(a[0], date_format='%Y-%m-%d %H:%M:%S')

            if '周前' in s:
                a = 7
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '小时前' in s:
                a = re.findall('(.*?)小时前', s)
                a = beforeHours2Date(a[0], date_format='%Y-%m-%d %H:%M:%S')

            if '昨天' in s:
                a = 24
                b = re.findall('昨天 (.*)', s)
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')
                #a = a + '' + b[0] + ':00'

            if '秒' in s:
                a = 0
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '分钟前' in s:
                a = 0.5
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '刚刚' in s:
                a = 0
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

    return a

for i in range(len(title)):  # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)
    title[i] = title[i].strip()  # strip()函数用来取消字符串两端的换行或者空格，不过目前（2020-10）并没有换行或空格，所以其实不写这一行也没事
    title[i] = re.sub('<.*?>', '', title[i])  # 核心，用re.sub()函数来替换不重要的内容
    date[i] = parse_ymd(date[i])
    print(str(i + 1) + '.' + title[i] + '(' + source[i] + ' ' + date[i] + ')')
    print(href[i])

效果如下：
在这里插入图片描述

文本内容深度过滤——剔除噪声数据

1.根据新闻标题进行简单过滤

for i in range(len(title)):
    if company not in title[i]:
        title[i] = ''
        href[i] = ''
        date[i] = ''
        source[i] = ''
# 因为在for循环里把列表元素删除，len(title)并不会改变，循环次数是固定的，所以为了防止列表越界：list index out of range，我们先设为空值后再删除
while '' in title: # 遍历列表中的空字符串
    title.remove('') # 删除列表元素
while '' in title:
    href.remove('')
while '' in title:
    date.remove('')
while '' in title:
    source.remove('')

2.根据正文内容进行深度过滤

for i in range(len(title)):  # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)
    title[i] = title[i].strip()  # strip()函数用来取消字符串两端的换行或者空格，不过目前（2020-10）并没有换行或空格，所以其实不写这一行也没事
    title[i] = re.sub('<.*?>', '', title[i])  # 核心，用re.sub()函数来替换不重要的内容
    date[i] = parse_ymd(date[i])
    try:
        article = requests.get(href[i], headers=headers, timeout=10).text # 获取正文信息
    except:
        article = '爬取失败'

    if company not in title[i] and company not in article: # 检查标题和正文是否包含公司名称
        title[i] = ''
        href[i] = ''
        date[i] = ''
        source[i] = ''

    print(str(i + 1) + '.' + title[i] + '(' + source[i] + ' ' + date[i] + ')')
    print(href[i])

# 因为在for循环里把列表元素删除，len(title)并不会改变，循环次数是固定的，所以为了防止列表越界：list index out of range，我们先设为空值后再删除
while '' in title: # 遍历列表中的空字符串
    title.remove('') # 删除列表元素
while '' in title:
    href.remove('')
while '' in title:
    date.remove('')
while '' in title:
    source.remove('')

注意：
若有公司简写等的，我们也需要此数据，那么我们可以把对于原先的if company not in article换成如下内容：

company_re = compay[0] + '.{0,5}' + company[-1]
if len(re.findall(company_re, article)) <1:

这里补充一个正则表达式，company[0]是公司名称第一个字，company[-1]表示公司名称最后一个字，.{0,5}中.表示任意一个字符，0,5表示0~5个字符（可进行修改），最后通过re.findall()进行寻找满足匹配规则的，若有则列表长度就大于1了，若没有则列表长度小于1，就可执行将该新闻赋值为空值的操作。

总代码

import requests
import re
import time
from datetime import datetime
#---------------数据爬虫----------------
company = '阿里巴巴'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'}

url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd='+company  # 把链接中rtt参数换成4即是按时间排序，默认为1按焦点排序
res = requests.get(url, headers=headers).text  # 加上headers用来告诉网站这是通过一个浏览器进行的访问
# print(res)

p_href = '<h3 class="news-title_1YtI1 "><a href="(.*?)"'
href = re.findall(p_href, res, re.S)
# print(href)
p_title = '<h3 class="news-title_1YtI1 ">.*?aria-label="标题：(.*?)"'
title = re.findall(p_title, res, re.S)
# print(title)
p_date = '<span class="c-color-gray2 c-font-normal c-gap-right-xsmall".*?>(.*?)</span>'
date = re.findall(p_date, res)
# print(date)
p_source = '<span class="c-color-gray".*?>(.*?)</span>'
source = re.findall(p_source, res)
# print(source)
#----------------时间处理函数----------------
def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'):
    hours = int(hours)
    t = time.time() - hours * 60 * 60
    t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t))
    return t

def parse_ymd(s):
    aa = re.findall(r"(\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2})", s)
    if aa != []:
        a = aa[0]

    else:

        if '月' in s:
            s = s.replace('月', '-').replace('日', '')
            mon_s, day_s = s.split('-')
            year_s = '2022'
            a = datetime(int(year_s), int(mon_s), int(day_s))
            a = a.strftime('%Y-%m-%d %H:%M:%S')

        long = re.findall('(-)', s)
        if len(long) == 2:
            year_s, mon_s, day_s = s.split('-')
            a = datetime(int(year_s), int(mon_s), int(day_s))
            a = a.strftime('%Y-%m-%d %H:%M:%S')

        if len(long) == 1:
            mon_s, day_s = s.split('-')
            year_s = '2022'
            a = datetime(int(year_s), int(mon_s), int(day_s))
            a = a.strftime('%Y-%m-%d %H:%M:%S')
        else:
            if '前天' in s:
                a = 3
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '天前' in s:
                a = re.findall('(.*?)天前', s)
                a = beforeHours2Date(a[0], date_format='%Y-%m-%d %H:%M:%S')

            if '周前' in s:
                a = 7
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '小时前' in s:
                a = re.findall('(.*?)小时前', s)
                a = beforeHours2Date(a[0], date_format='%Y-%m-%d %H:%M:%S')

            if '昨天' in s:
                a = 24
                b = re.findall('昨天 (.*)', s)
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')
                #a = a + '' + b[0] + ':00'

            if '秒' in s:
                a = 0
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '分钟前' in s:
                a = 0.5
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

            if '刚刚' in s:
                a = 0
                a = beforeHours2Date(a, date_format='%Y-%m-%d %H:%M:%S')

    return a
#---------------主函数----------------
for i in range(len(title)):  # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)
    title[i] = title[i].strip()  # strip()函数用来取消字符串两端的换行或者空格，不过目前（2020-10）并没有换行或空格，所以其实不写这一行也没事
    title[i] = re.sub('<.*?>', '', title[i])  # 核心，用re.sub()函数来替换不重要的内容
    date[i] = parse_ymd(date[i])
    try:
        article = requests.get(href[i], headers=headers, timeout=10).text # 获取正文信息
    except:
        article = '爬取失败'

    if company not in title[i] and company not in article: # 检查标题和正文是否包含公司名称
        title[i] = ''
        href[i] = ''
        date[i] = ''
        source[i] = ''

    print(str(i + 1) + '.' + title[i] + '(' + source[i] + ' ' + date[i] + ')')
    print(href[i])

#---------------剔除空操作----------------
# 因为在for循环里把列表元素删除，len(title)并不会改变，循环次数是固定的，所以为了防止列表越界：list index out of range，我们先设为空值后再删除
while '' in title: # 遍历列表中的空字符串
    title.remove('') # 删除列表元素
while '' in title:
    href.remove('')
while '' in title:
    date.remove('')
while '' in title:
    source.remove('')
啥都鼓捣的小yao
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python数据清洗-洗什么？怎么洗？看完就明白了
01-27
数据预处理的主要内容包括： 数据清洗； 数据集成； 数据转换； 数据规约； 但是在这一篇里，我们只讲数据清洗，其他部分会慢慢整理。 数据清洗主要是删除原始数据中的无关数据，重复数据，平滑噪声数
python 爬虫之数据清洗
naer_chongya的博客
06-08 4755
Python爬虫是一项强大的工具，可用于获取大量数据并进行分析和处理。但是，爬取的数据在处理之前需要经过清洗，以消除无用或无效的信息，并确保数据可靠和可用。在本文中，我们将详细讨论Python爬虫数据清洗的过程和技巧，让您了解如何有效地处理和分析数据。
人工智能学习之python三剑客Numpy
kfyong的专栏
10-20 1078
三贱客是指python的一些工具库：Numpy、Pandas、Matplotlib， 在人工智能学习中应用非常广泛 numpy 主要是用来快速科学计算，支持一个强大的N维数组对象处理，有成熟的函数库。 Pandas用来解决数据分析问题，可以将本地数据读入处理，人工智能是基于大数据的基础上做数据分析，模型搭建。 Matplotlib主要是用来绘制图形，几行代码就能表示直方图、功率谱、条形图、错位图、散点图等，方便观察函数的拟合度和数据分类情况。 ...
数据清洗 代码集
wolf_bailang的博客
01-24 1809
删除多列数据 有时，并不是所有列的数据都对我们的数据分析工作有用。因此，「df.drop」可以方便地删掉你选定的列。 转换 Dtypes 当我们面对更大的数据集时，我们需要对「dtypes」进行转换，从而节省内存。如果你有兴趣学习如何使用「Pandas」来处理大数据，我强烈推荐你阅读「Why and How to Use Pandas with Large Data」这篇文章（https://...
Python数据分析入门到进阶：数据清洗（含详细代码）
weixin_68789096的博客
09-19 765
在上一篇文章中，介绍了如何使用python导入数据，导入数据后的第二步往往就是数据清洗，下面我们来看看如何使用pandas进行数据清洗工作。
代码工具 | 数据清洗，试试这 8套Python代码
Datawhale
01-05 344
原作 Kin Lim Lee乾明 编译整理量子位 出品 | 公众号 QbitAI数据清洗，是进行数据分析和使用数据训练模型的必经之路，也是最耗费数据科学家/程序员精力的地方。这些用于数据...
使用Python进行数据清洗，以及一些常见的数据清洗技巧和最佳实践
m0_57781768的博客
09-26 5415
首先，让我们了解如何使用Python进行数据统计和摘要。Pandas提供了一些有用的函数来获取数据的摘要统计信息。# 获取数据摘要统计信息# 计算相关系数矩阵。
基于Python 机器学习进行医疗保险价格预测数据集
04-18
在数据收集之后，我们需要进行一系列的数据预处理工作，包括数据清洗、缺失值填充、异常值处理以及特征工程等，以确保数据的准确性和完整性。 接下来，我们利用机器学习算法来构建预测模型。在这个过程中，我们选择...
Python数据处理与特征工程
06-30
【特征工程——Python数据分析必备】 脏数据的“清洗剂” 有人说：学会了Python语言，就会做数据分析？ 不一定！ 你拿到的数据样本集，有可能存在这些问题： 如果样本数据存在问题，对数据建模的执行效率会有很...
Python数据分析与可视化项目29个（附常见使用方法及50个Pyecharts可视化案例）
07-10
Python数据分析与可视化项目 - 含源码与分析文档、数据 -20多个项目， -数据清洗处理、数据抓取 -数据探索分析、数据分析报告 -Matplotlib、Pyecharts等可视化 -机器学习建模、模型调参优化 宝贝内容 包括项目...
小费数据预处理.zip
01-14
"小费数据预处理" 是一项基于Python语言的数据处理工作，旨在对一份关于餐厅小费的数据进行清洗、分析和处理，以揭示...同时，这也是学习和应用Python数据处理和分析技术的绝佳机会，对于提升数据处理能力和扩展分析
基于Python 机器学习进行医疗保险价格预测源码
最新发布
05-02
首先，我们需要从可靠的数据源中收集数据，并对数据进行清洗和预处理，以消除缺失值、异常值和冗余特征。接着，我们利用特征选择技术选择出对医疗保险价格影响最大的特征。 在模型选择方面，我们可以尝试多种机器...
python爬取数据并进行数据清洗
m0_75042480的博客
11-14 222
我们首先定义了一个名为Myspider的Spider类，并在其中定义了一个名为parse的函数。该函数用于抓取网页数据、进行数据清洗和解析、并将结果保存到数据库中。在函数中，我们首先使用BeautifulSoup库找到需要抓取的网页数据，并对数据进行清洗和解析。首先，我们需要安装一些必要的库，包括requests、BeautifulSoup、Scrapy、MySQL Connector等。接下来，我们创建一个名为myspider的Scrapy项目，并在该项目中创建一个名为myspider的Spider类。
python网络爬虫-如何编写代码清洗数据
wanght89的专栏
10-10 1万+
本部分我们通过编写数据清洗脚本，确保python的网络数据采集结果更加干净明确，本篇文章主要是通过正则表达式来进行字符替换处理，同时本篇文章还提及了自然语言处理常用的n-gram处理方法
6.9 用Python操控数据库（批量删除，百度新闻数据爬取与存储，写入数据时进行去重处理，pandas读取sql数据）
Triumph19的博客
04-12 5774
学习完MySQL数据库的基本操作后，下面来学习如何用Python连接数据库，并进行数据的插入、查找、删除等操作。 6.9.1 用PyMySQL库操控数据库 上一节在phpMyAdmin 中创建了数据库“pachong”，并在其中创建了数据表"test"，那么该如何在Python中连接该数据库，并调用其中的数据表呢？ 首先安装用于操控MySQL的python第三方库PyMySQL,安装命令为"pip install pymysql"。 1.连接数据库 首先来学习如何连接之前创建的数据库“pacho.
优化数据处理效率：Python数据清洗的实例详解
涛哥聊Python
12-28 908
脏数据是指数据集中包含错误、不完整、重复或不一致的数据。脏数据可能会导致分析结果不准确，因此在进行任何数据分析之前，必须对数据进行清洗和预处理。有时需要根据特定的业务需求编写自定义数据转换函数。# 自定义函数：将温度从华氏度转换为摄氏度本文详细介绍了Python中处理和转换脏数据的技巧，包括处理缺失值、去除重复数据、处理异常值、文本数据清洗、时间数据清洗、数据类型转换、数据合并和重塑等多个方面。数据清洗是数据分析过程中不可或缺的一部分，能够提高数据质量和分析结果的可信度。
信息传播小课堂：过滤噪音，提高信噪比。（ 利用冗余度去除噪音，从不同维度看问题去除噪音。）
iOS逆向与安全
03-17 1014
将混杂着噪音的信息，投射到某些你能够区分的维度。如同将声音从能量的高低，投射到频率的维度后，就能简单地从频率高低识别出鸟的噪音，然后过滤掉。利用噪音：制造毫无规律的白噪音，将一些信息隐藏在噪音中不被别人发现。换一个角度看问题：将有噪音的信息分解到不同的维度过滤噪音，知道来源的噪音，去除噪音最简单的方法是屏蔽它们。卡拉OK厅使用的麦克风，对距离非常敏感。根据产生的原因以及表现形式作分类。各种频率都有的噪音，很难去除。利用信息的冗余度，减少误差。
文本NLP噪音预处理（加拼写检查）
Damien_J_Scott的博客
08-02 1078
是用来检测拼写正确的，如果你的文本里面可能包含非正确拼写的单词，那就忽略它，这种连续的单词链接成的字符串被拼写检查剔除，只有保持驼峰情况下，才能用。成功把他分成单独的单词，所以最后再处理大小写。最近总结修改了下预处理方法，记录下。首先download需要的依赖。这里最后再转小写是因为防止。
统计分析——回归分析
热门推荐
Eric005的博客
04-27 1万+
在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。
python数据清洗实现过程
05-23
数据清洗是指将原始数据中的噪声、错误、不一致和不完整的部分去除或者修正，让数据更加干净和规范，以便进行后续的分析和处理。...以上是一个简单的数据清洗过程，实际操作中还需要根据具体情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啥都鼓捣的小yao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值