python爬虫03：url去重与unicode编码

1.url去重策略

1.将访问过的url存入数据库中（效率低）
2.将访问过的url存入set中，o(1)，很快，但是内存占用过大
一亿条url * 2byte * 50个字符/1024/1024/1024=9G
3.url经过md5编码等方法哈希后保存到set中（scrapy方式）
4.用bitmap方法，将访问过的url通过hash函数映射到某一位byte上
但是容易有位置冲突
5.bloomfilter方法对bitmap进行改进，多重hash函数降低冲突

2.字符串编码

计算机中 8bit 作为 1byte ，一个字节（byte）存的最大数是255
ASCII（一个字节）编码就有255个，但这处理中文是不够的
中文有 GB2312 编码，两个字节表示一个汉字，其中包含ASCII码
当编码越来越多，就会引发混乱，于是unicode出现了，将所有语言统一到一套编码里
（在A的ASCII编码前面补零可得其unicode编码）
但是unicode编码占用空间大
所以出现了可变长编码utf-8，英文1字节、汉字3字节、生僻字6字节
由于utf-8编码长度不定，不适合编程和内存调动，适合网络传输，所以在编程时转成unicode比较好，在网络传输时再转成utf-8

python3中所有字符全部转成unicode

我用的是windows下的python3.7

import sys
print(sys.getdefaultencoding())

utf-8

默认encode是utf8

当使用str.encode("")方法，必须先将字符串转换成unicode编码，python2中需要先用str.decode(“默认的编码”)先将字符串转换成unicode
python3中取消了decode方法，直接str.encode(“utf8”)即可

s = "哈哈哈哈"

print(s.encode("utf8"))# utf-8编码
print(s.encode("unicode-escape"))# unicode编码

b'\xe5\x93\x88\xe5\x93\x88\xe5\x93\x88\xe5\x93\x88'
b'\\u54c8\\u54c8\\u54c8\\u54c8'