AdamWu's Blog

安装protobuf源代码（各种语言实现） https://github.com/google/protobuf 我们只需要python版和protoc（编译proto到各个语言）1、到Python目录，编译 python setup.py build python setup.py install python setup.py test2、验证安装是否成功 #pyth

1、下载网页urllib、urllib22、网页解析re：正则表达式lxml：C语言编写高效HTML/ XML处理库。支持XPath。BeautifulSop: 低效HTML/ XML处理库，纯Python实现。

网页编码格式比较多，比如utf8，gb2313等等，我们需要转化成统一格式，便于解析文本。headers = { 'x-requestted-with': 'XMLHttpRequest', 'Accept-Language': 'zh-cn', 'Accept-Encoding': 'gzip, deflate', 'User-Agent':'Mozilla/5.0