常见python机器学习中的代码块

最新推荐文章于 2024-11-04 21:51:40 发布

Shawn Zhang 150

最新推荐文章于 2024-11-04 21:51:40 发布

阅读量189

点赞数

文章标签： python

本文链接：https://blog.csdn.net/fabiola140/article/details/120066899

版权

本文介绍了Python在机器学习中的一些常见代码块，包括NLP数据清洗，如特殊字符处理和字符串检查；设置随机种子以确保代码复现性；调整预测结果分布以匹配训练集分布；以及创建count和bin特征来增强模型理解。

摘要由CSDN通过智能技术生成

文章目录

前言
一、NLP清洗
- 1. 对于NLP的常见特殊字符的清洗和整理
- 2. 快速判断某列字符是否满足某些要求
二、为所有量设置随机种子
三、调整预测结果的分布，争取与train中的y分布一致
四、常见特征建立
- 1. 建立count特征，反映类别特征的数量
- 2. 建立bin特征，反映类别特征的数量占比

前言

在python处理各种任务的时候，会有很多常用的代码块，对于模型来说，常见的代码块会有不同的

一、NLP清洗

1. 对于NLP的常见特殊字符的清洗和整理

puncts = ['。', ',', '.', '"', ':', ')', '(', '-', '!', '?', '|', ';', "'", '$', '&', 
          '/', '[', ']', '>', '%', '=', '#', '*', '+', '\\', '•', '~', '_', '{', '}', 
          '^', '`', '<', '°', '™', '♥', '½', '…', '“', '”', '–', '●', '²', '¬', '↑',
          '—', '：', '’', '☆', 'é', '¯', '♦', '‘', '）', '↓', '、', '（', '，', '♪', 
          '³', '❤', 'ï', '√']
          
#用于在原始的代码中，给每一个符号的前后各加一个空格。
def clean_text(x):
    x = str(x)
    for punct in puncts:
        x = x.replace(punct, f' {
     punct} ')
    return x

#将一定量的