最近写新闻爬虫,有时候会出现奇怪的格式。比如script乱入,然后对于爬取到的信息会增加许多干扰。查询相关知识后发现,这里可以使用Beautifulsoup的功能来剔除掉特定标签。
soup = BeautifulSoup(r.text, "lxml") #去除soup里面的script和style标签 [s.extract() for s in soup('script')]
最近写新闻爬虫,有时候会出现奇怪的格式。比如script乱入,然后对于爬取到的信息会增加许多干扰。查询相关知识后发现,这里可以使用Beautifulsoup的功能来剔除掉特定标签。
soup = BeautifulSoup(r.text, "lxml") #去除soup里面的script和style标签 [s.extract() for s in soup('script')]