前排提示,本人是个萌新,写出的代码可能有错误,请原谅。
本文需要java基础即可食用
引入
用java爬一本书?我爬到了一本《亮剑》
思路
一本书,是txt文本,好实现。我们要先找到爬取的网站,接着用最简单的思路,获得页面HTML,然后分析HTML内容,从而提炼出可用信息。
实现
找到一个这样的站点很重要,有此在HTML中没有,有些还不能正常显示。
https://www.51shucheng.net/
可以尝试。
方式
那么得到可用的信息,我们会通常想到正则表达式Reg,通过匹配从HTML中获得信息。
过程
经分析,小说《亮剑》是在https://www.51shucheng.net/sidamingzhu/xiyouji/260.html/sidamingzhu/xiyouji/6707.html开始,那么设置循环for,连接网络获得数据。
URL url = new URL(web); url.openConnection().setReadTimeout(5000);
之后通过正则表达式匹配到有用信息。
最后写入硬盘。
本文就不演示代码了,感兴趣自己试一试。