William_Dong的专栏

原创 Requests后用Beautifulsoup找不到指定元素(原来是页面元素被注释)

这个问题是在Requests抓取百度贴吧内容列表时出现，可能在抓取其他某些网页时也会出现这个问题。在用Requests时大家习惯加上header，这个header往往是Chrome的header。但是加了这个header就会导致页面中大部分html标签被放在了注释里面，后面用Beautifulsoup的find或是select都找不到对应的标签。head = {'User-Agent':...