爬虫入门(字符串相关)

1.字符和字符集

• 字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符集(Character set)是多个字符的集合
• 字符集包括：ASCII字符集、GB2312字符集、GB18030字符集、Unicode字符集等
• ASCII编码是1个字节，而Unicode编码通常是2个字节。
• UTF-8是Unicode的实现方式之一，UTF-8是它是一种变长的编码方式，可以是1，2，3个字节

2.python3中的字符串

在Python2中，普通字符串是以8位ASCII码进行存储的，而Unicode字符串则存储为16位unicode字符串，这样能够表示更多的字符集。使用的语法是在字符串前面加上前缀 u。

在Python3中，所有的字符串都是Unicode字符串。

python3中两种字符串类型：

• str : unicode的呈现形式
• bytes :字节类型，互联网上数据的都是以二进制的方式(字节类型)传输的

3.str和bytes的转换

• str 使用encode方法转化为 bytes

  s = 'abc'
  print(type(s))
  #str编码变为bytes类型
  b = s.encode
  print(type(b))
  复制代码

• bytes 通过decode转化为 str

  b = b'abc'
  print(type(b))
  #bytes类型解码成为str类型
  s = b.decode()
  print(type(s))复制代码