JAVA实现简单数据采集

最新推荐文章于 2024-08-13 02:23:13 发布

不姓王的王子

最新推荐文章于 2024-08-13 02:23:13 发布

阅读量1.8k

点赞数 1

分类专栏： java后端

本文链接：https://blog.csdn.net/weixin_44950062/article/details/115343321

版权

本文介绍了使用JAVA进行简单数据采集的流程，包括登录、查看源代码、找寻下载地址并下载。通过展示代码，演示如何获取网页源码，并利用正则表达式分析超链接，最终将网址保存为TXT文件，配合FLASHGET实现批量下载。

摘要由CSDN通过智能技术生成

采集 FALSH,文本都可以的。
采集流程大概就是：
1：先登录，
2 ：查看源代码
3：找到下载地址下载

现在我们来实现一个自动侦测到网页源代码的程序。
代码展示：

 /**
    * 方法实现说明 自动侦测到网页源代码
    * @author      金刚
    * @date        2021/3/30 14:40
    */
public  static  String  getWebContent(String  domain){
   
         System.out.println("开始读取内容...("+domain+")");
         StringBuffer  sb  =  new  StringBuffer();
          try{
       
              java.net.URL  url  =  new  java.net.URL(domain);
              BufferedReader  in  =
              new  BufferedReader(new  InputStreamReader(url