爬虫入门之查找JS入口篇(三)

目标地址:

aHR0cHM6Ly9nLmhvbmdzaHUuY29tL2NvbnRlbnQvOTM0MTYvMTM4Nzc5MTIuaHRtbA==

目的：爬取该网页上的小说正文。

工具：Chrome浏览器

第一步：打开Chrome浏览器，地址栏输入网址，并按下F12，打开调试器，切换到Network面板，再按下回车，进行访问。

第二步：加载完成后，我们分析需要爬取的内容在哪个页面，点击第一栏，然后将右边的信息面板切换到 Preview,你会看到如下图的现象:

啊哈，就是这里了，真简单。

第三步：切换到Response面板，看看原始的数据是啥

其实这就是该网页的源代码啦，在页面右击鼠标查看源代码试试，发现 右击鼠标没有反应，看来是禁用右键了，不要慌，问题不大，新打开一个浏览器标签，在地址栏上输入：view-source:

然后再输入刚才的网址，回车就看到源码啦。

很快，就找到了需要爬取的内容了：

第四步：分析得知，这些和显示的小说正文略有差异，比如开头这段变成了这样：

<p>公元二十年<span class="context_kw0"></span><span class="context_kw23"></span>皇元年<span class="context_kw2"></span></p>

<span class="context_kw0"></span>对应的内容是正文中的：",";

<span class="context_kw23"></span> 对应的内容是正文中的："地";

因此，我们需要找出这些对应规则，然后进行替换即可。

我们把源代码往前和往后都翻翻，看看有什么可疑的信息，很快，你会发现这里：

看到这个，很容易联想到 JS的加密库:crypto-js

把这个 script标签内的所有内容都复制下来看看是啥东东，先用https://beautifier.io/ 这个网站美化下，然后复制浏览器的控制台运行下看看会有何结果：

返回 -1，我们再分析下代码里的可疑之处，看到最后的for循环，是操作words这个数组，我们看看words是否有内容：

["，", "的", "。", "刘", "人", "一", "他", "是", "不", "在", "有", "了", "着", "”", "“", "秀", "大", "上", "道", "歆", "个", "名", "下", "地"]

哇，看到了没，第一个是“，”，最后一个是“地”，这不就是刚才我们要找的对应的字符吗。

到此，分析结束了。

希望读者自己去调试这段JS，先将混淆的代码进行还原(先正则，再替换)，再将不相关的代码进行删除，使得我们用nodejs可以正常运行。然后用Python调用这段代码，并将相应的标签进行替换即可。

如有侵权，请告之删除，谢谢。

有不懂的可加本人微信号私聊，不过一般google能解决的问题不会回复，忘谅解。