数据清洗 - 特殊符号

最新推荐文章于 2025-03-13 12:53:39 发布
最新推荐文章于 2025-03-13 12:53:39 发布
阅读量938 收藏 1
点赞数
分类专栏： Python 文章标签： 特殊符号
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45390999/article/details/120418343
版权

文章目录

本着洗文本的目的，去搜了几个想到的符号，搜到了所有的特殊符号，不得不说，这个家族很大。

这里我选择了写我认为常见的，使用 re 将特殊符号替换为空，代码：

def clear_special_char(sent):
    pat = '[★☆◆◇▲△▼▽▶●○〇□■☉⊙◎︻︼︽︾〒↑↓¤▓◣◥◢◤↑↓→←↘↙⌒∮※ㄨ╬▂▃▄▅▆▇█]+'
    return re.sub(pat, '', sent)

QQ起昵称专用特效字符

︻︼︽︾〒↑↓☉⊙●〇◎¤★☆■▓「」『』◆◇▲△▼▽◣◥◢◣◤ ◥№↑↓→←↘↙Ψ※㊣∑⌒∩【】〖〗＠ξζω□∮〓※》∏卐√ ╳々♀♂∞①ㄨ≡╬╭╮╰╯╱╲ ▂ ▂ ▃ ▄ ▅ ▆ ▇ █ ▂▃▅▆█ ▁▂▃▄▅▆▇█▇▆▅▄▃▂▁

箭头符号

↑ ↓ ← → ↖ ↗ ↙ ↘ ↔ ↕ ➻ ➼ ➽ ➸ ➳ ➺ ➻ ➴ ➵ ➶ ➷ ➹

▶ ➩ ➪ ➫ ➬ ➭ ➮➯ ➱ ➲ ➾ ➔ ➘ ➙ ➚ ➛ ➜

➝ ➞ ➟ ➠ ➡ ➢ ➣ ➤ ➥ ➦ ➧ ➨ ↚ ↛ ↜ ↝ ↞ ↟ ↠ ↠ ↡

↢ ↣ ↤ ↤ ↥ ↦ ↧ ↨ ⇄ ⇅ ⇆ ⇇ ⇈ ⇉ ⇊ ⇋ ⇌ ⇍ ⇎ ⇏ ⇐ ⇑ ⇒ ⇓

⇔ ⇖ ⇗ ⇘ ⇙ ⇜ ↩ ↪ ↫ ↬ ↭ ↮ ↯ ↰ ↱ ↲ ↳ ↴ ↵ ↶ ↷ ↸ ↹

☇☈ ↼ ↽ ↾ ↿ ⇀ ⇁ ⇂ ⇃ ⇞ ⇟ ⇠ ⇡ ⇢ ⇣ ⇤ ⇥ ⇦ ⇧ ⇨ ⇩ ⇪ ↺ ↻

贴图字符大全

A、希腊字母大写
ΑΒΓΔΕΖΗΘΙΚ∧ΜΝΞΟ∏Ρ∑ΤΥΦΧΨΩ

B、希腊字母小写
α β γ δ

最低0.47元/天 解锁文章
pandas由入门到精通-数据清洗-字符串处理
qq_48081868的博客
08-27 320
文中用S代指Series，用Df代指DataFrame数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清洗的常用方法：包括缺失值、重复值、异常值处理，数据类型统计，分箱，随机采样，向量化编码等方法。每种方法都给出了代码和实例，并用表格进行总结。
对包含表情的字符串进行替换
weixin_43205920的博客
12-12 401
//判断是否包含表情 public static boolean findEmoji(String content) { Pattern pattern = Pattern.compile("[^\u0000-\uFFFF]"); Matcher matcher = pattern.matcher(content); return matcher.find(); } private static ...
数据清洗python去除特殊字符\xa0
Byfar
08-07 1239
python去除特殊字符 \xa0 eg: lista = ['<p>梅花老师：</p><p>\xa0 \xa0 \xa0 \xa0 \xa0选项 A 不符合题意，转回已计提的存货跌价准备'] listb = '出现1室1厅1卫 \xa0\xa0\xa0\xa038㎡' 例一： [列表] 法一： lista = [el.replace('\xa0',' ').replace(' ','') for el in lista] prin
python数据清洗excel表格中的特殊字符及正则表达式在清洗中的常用技巧
m0_69923860的博客
12-29 2371
python数据清洗excel表格中的特殊符号，Unicode编码在正则表达式中的应用及正则表达式的常用技巧
实现去除特殊字符和统一格式的数据清洗步骤。
最新发布
weixin_62533513的博客
03-13 226
通过上述步骤，可以有效地去除金融数据中的特殊字符并统一数据格式。这些清洗操作有助于提高数据的质量，使其更适合于后续的分析和建模。在实际应用中，可以根据具体的数据特点和需求，灵活调整清洗策略和参数。
查询字段是否包含特殊字符与清洗
u010446835的博客
06-25 287
从excel导入数据或者复制数据，有时包含特殊字符，可能会影响数据显示。
正则 re中要转义的特殊字符
u013176681的专栏
05-30 8833
如果要查找文件名中有＊的文件，则需要对＊进行转义，即在其前加一个\。ls \*.txt。正则表达式有以下特殊字符。需要转义  特别字符 说明 $ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n' 或 ‘\r'。要匹配 $ 字符本身，请使用 \$。 ( )
自然语言处理——数据清洗
c673929079的博客
09-08 5448
自然语言处理数据清洗
数据清洗-地区
Sinsoledad0702的博客
07-29 719
工作地数据清洗
【SQL案例】数据清洗_删除特殊符号只保留中文
Liury
12-31 1103
删除文本中特殊符号只保留中文
垃圾短信数据集-已清洗分词
09-17
清洗过程包括去除无关的字符（如标点符号、特殊符号），统一文本格式，处理异常值等，使得数据更加规范，更适合分析。分词则是将连续的文本分割成有意义的词语，这是自然语言处理中的基础步骤，便于后续的统计分析和...
Python—正则表达式（re）
wolf的博客
09-24 249
正则表达式(re) 一、特殊符号 """ 引入正则表达式：进行模糊匹配 *:匹配0 ~ ∞次；贪婪匹配 在*后加?（*?）设置为惰性匹配，按最小次数匹配 .:通配符 ?:匹配0 ~ 1次 +:匹配1 ~ ∞次；贪婪匹配 在+后加?（+?）设置为惰性匹配，按最小次数匹配 ^:从头匹配 &:从尾匹配 {}:自定义匹配次数 (): ?: : 取消分组优先级 []:字符集...
数据清洗规范和数据质量校验
Cecilia_l的博客
01-27 4534
数据清洗规范 1.空值处理：一般使用默认值 1）汇总类指标的空值：空值处理，填充为零。 2）维度属性值为空：在汇总到对应维度上时，对于无法对应的统计事实，记录行会填 充为null。 3）空串例如“ ”，且不是汇总类指标置为null。 数据格式内容清洗：例：yyyy-MM-dd 数据源存在问题，如果是由人工收集或用户填写而来，很大可能性在格式和内容上存在问题，格式内容问题存在以下几类： 1）时间、日期、...
Java 实现字符串去特殊符号代码
一线大码
11-24 7071
去除字符串中的特殊符号： \n 回车（\u000a） \t 水平制表符（\u0009） \s 空格（\u0008） \r 换行（\u000d） 工具类 import org.apache.commons.lang3.ObjectUtils; import org.apache.commons.lang3.StringUtils; import java.util.ArrayList; import java.util.List; /** * @author wangbo * @date 2021
关于去除数据中特殊字符（非数字字符）的一些方法
weixin_30555125的博客
08-22 726
最近数据处理时经常发现有数字中含有大量字符，执行过程报“ORA-01722:invalidnumber”异常，可以有一下几种方法去除：1、replace 用法简单，写法较复杂，只能处理已知字符 With test_table1 As ( 　　　　Select 1 seq_num, '2134?654?ag d35' strings From dual 　　　　Unio...
sql清洗特殊字符
etl菜鸟
04-20 625
sql中清洗、替换特殊字符：回车、换行、制表符 附AASCII码表
NLP去特殊字符
weixin_30617695的博客
02-28 877
在自然语言处理中，我们有时对文本进行处理，需要去除一些特殊符号，保留中文，这是在预处理过程中常用到的。分享给你，希望对你有帮助！ 1 import re 2 def delete_sysbol(line): 3 cop = re.sub('[^\u4e00-\u9fa5^]', '', line) 4 print(cop) 5 return cop 6 ...
Python正则表达式清洗微博文本特殊符号(网址, @, 表情符等)
热门推荐
blmoistawinde的博客
12-21 1万+
在做文本分类的实验时，找到一个微博的情感分析语料，但是其中保留了很多微博中的特殊符号，对于算法的训练来说不太有利。 从上面的图中可以看到，微博里主要有几种特殊格式： 网页 @用户名（包括转发路径上的其他用户名） 表情符号(用[]包围) 话题(用#包围) 作为机器学习的预处理步骤，我希望能够处理掉前3个格式，原因是： 1、2不包含有意义的内容(不过我去除转发用户名的时候保留了其内容) 3 实...
如何用Python数据清洗特殊符号
06-17
在Python中，数据清洗是一个关键步骤，特别处理特殊符号是为了让文本数据更规范化，便于后续分析。以下是一些常用的方法来清洗特殊符号： 1. 使用正则表达式（Regular Expression）：Python的`re`模块提供了强大的正则匹配功能。例如，你可以使用`re.sub()`函数替换特定的特殊符号： ```python import re def clean_special_chars(text, replacement=' '): cleaned_text = re.sub(r'[^\w\s]', replacement, text) # 去除非字母数字和空白字符 return cleaned_text text = "Hello! This is a sample text with special symbols like @, #, $, %." cleaned_text = clean_special_chars(text) ``` 2. 使用字符串方法：比如`replace()`或`translate()`方法： ```python def clean_special_chars_manual(text): translator = str.maketrans('', '', string.punctuation) # 创建移除特殊字符的映射表 cleaned_text = text.translate(translator) return cleaned_text string.punctuation包含所有标点符号 ``` 3. Pandas库：如果你的数据在Pandas DataFrame中，可以使用`replace()`或`str.replace()`： ```python import pandas as pd df['column_name'] = df['column_name'].str.replace('[^\w\s]', '') # 对整列进行替换 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值