xin.wang的博客

转载 用 Python 写爬虫时应该注意哪些坑

1. 添加user-agent，header。避免一开始就被屏蔽掉。推荐用urllib2，requests(最近才用这个，发现很好用) 2. 编码用utf-8，本地存储的时候用codes.open 来保存中文字符 3. lxml解析的速度要比beautifulsoup快的多 4. 如果beautiful和lxml都不能抓到你想要的网页内容，就的用最原始的方法---正则表达式，所以玩爬虫，正则