最近学习研究Scrapy,刚好遇到爬取文章正文内容,总是搞不定innerHTML 方法
找了很多,都是你抄我,我抄你的,也没有一个人验证的,最终只能自己实践,最终实现了获取节点下辖内容,记录一下,说不定以后要用的:
原始内容,只需要红色部分:
....<div class="content"><img src="1-120F3103553G9.jpg" style="width: 600px; height: 450px;"><br>
关键词:中国古城PPT背景模板,古城PPT背景素材,黄色PPT背景</div>......
实现代码,主要是用 node() ,获取所有节点及文本,网上告诉的方法都是 text() 纯文本:
item["content"] = "".join(response.xpath("//div[@class='content']/node()").extract()).strip()