又有很长时间没有更新博客了=。=
这次想简单介绍一下最近的数据清洗的工作中的发现的一些小方法,因为在网上搜了一下,并没发现有人总结过。
背景
最近处理的数据是多个不同部门的人工录入的数据,莫名其妙的问题非常多。
其中一个就是中英文符号的问题,我发现大部分的中英文符号存在以下关系(代码是Python代码)
for i in range(65281, 65381):
print(i, chr(i), '=>', i-65248, chr(i-65248))
65281 ! => 33 !
65282 " => 34 "
65283 # => 35 #
65284 $ => 36 $
65285 % => 37 %
…省略…
65368 x => 120 x
65369 y => 121 y
65370 z => 122 z
65371 { => 123 {
65372 | =>