.shtml网站解析UnicodeError

SHTML和HTML的区别
如果用一句话来解释就是:SHTML 不是HTML，而是一种服务器 API。
shtml是服务器动态产成的html.
虽然两者都是超文本格式,但shtml是一种用于SSI技术的文件。 也就是Server Side Include–SSI 服务器端包含指令。 如果Web Server有SSI功能的话(大多数（尤其是基于Unix平台）的WEB服务器如Netscape Enterprise Server等均支持SSI命令)。

html或htm与shtml或shtm的关系是什么
html或者htm是一种静态的页面格式，也就是说不需要服务器解析其中的脚本，或者说里面没有服务器端执行的脚本，而shtml或者shtm由于它基于SSI技术，当有服务器端可执行脚本时被当作一种动态编程语言来看待，就如asp、jsp或者php一样。当shtml或者shtm中不包含服务器端可执行脚本时其作用和html或者htm是一样的。

问题描述：
http://www.chinanews.com/entertainment.shtml
例如CN新闻网，charset= utf-8 ，但是解析会异常，requests 和 urllib 解析后都是乱码。

解决方法：

1。使用selenium 来进行页面获取

2。使用scrapy 来进行页面获取。