python如何爬取注释的网页_python爬虫爬取古诗词实例补充讲解之获取注释和译文...

对这个网站的具体每首诗，如果想获取它的注释和译文，要怎么实现。

比如：

https://so.gushiwen.org/shiwenv_30a67e5c53be.aspx

这首诗，直接进去后，注释和译文不是完全展示出来的，需要点击“展开阅读全文”，才会完全显示。

python第三方库re库实例之爬取古诗词网上诗歌

python第三方库bs4库实例之爬取古诗词网上诗歌

python第三方库xpath库实例之爬取古诗词网上诗歌

这个用上面的三种方式怎么实现？

F12看一下就知道了，

注释译文地址：https://so.gushiwen.org/shiwen2017/ajaxfanyi.aspx?id=XXXX

XXXX在页面源码中搜索一下href="javascript:fanyiShow，在后面的括号里就是这个id

以你给的地址为例：https://so.gushiwen.org/shiwenv_30a67e5c53be.aspx

1、获取页面源码得到id为2141

2、直接GET地址：https://so.gushiwen.org/shiwen2017/ajaxfanyi.aspx?id=2141即可获取注释译文内容了