url去重方法和字符串编码

版权声明:版权归作者个人所有,未经本人授权,只能用于学习、交流、研究。 https://blog.csdn.net/qq_31847191/article/details/79960440

url去重方法

1.将访问过的url保存到数据库中
应用简单,效率低
2.将访问过的url保存到set中,只需o(1)的代价就可以查询url
效率高,但是随着数据的增加,内存会出现占用过大。
100000000*2byte*50字符/1024/1024/1024=9G
3.url经过md5编码等方法哈希后保存到set中
固定编码,压缩url,节省了内存
4.用bitmap方法,将访问过的url通过hash函数映射到某一位
5.boomfilter方法对bitmap进行改进,多重hash函数降低冲突

字符串编码

1.计算机只能处理数字,文本转换为数字才能处理。计算机中8个bit作为一个字节,所以一个字节可以表示最大的数字就是255
2.计算机是美国人发明的,所以一个字节可以表示所有的字符,所以ASCII(一个字节)编码就成为美国人的标准编码
3.中国指定了GB2312编码,用两个字节表示一个汉字。GB2312还把ASCII包含进去了。多国标准语言混合显示必然会导致乱码的出现
4.unicode的出现,将所有的语言统一到一套编码里
5.ASCII和unicode编码的区别

字母A用ASCII编码十进制是65,二进制是0100 0001
汉字“中”超出了ASCII编码的范围,用unicode编码是20013,二进制是01001110 00101101
A用unicode编码只需要前面补0就可以了,二进制是0000 0000 0100 0001
6.解决了乱码问题,但是内容全是英文,unicode编码比ASCII需要多一倍的存储空间,传输需要多一倍的传输
7.出现了“UTF-8”把英文变长一个字节,汉字3个字节,特别生僻的变成4-8字节,如果传输大量英文,utf8作用就非常明显

编码格式演示
UTF-8
python2


python3




阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页