java爬虫数据

本案例仅供学习使用，请勿用于违法行为！

package com.example.ruanjiandemo.utils;


import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URL;

/**
 * 网页爬虫
 */
public class WebHtmlCrawer {
    public static void main(String[] args) throws IOException {
        String url = "http://www.xxx.com"; //这是你要爬取的网址
        Document document = Jsoup.parse(new URL(url), 30000);
        Elements chinajobs = document.getElementsByClass("xh_a");//这里是爬取div的范围，用class表示
        HSSFWorkbook wb = new HSSFWorkbook();
        HSSFSheet sheet = wb.createSheet("一览表");
        Elements li = chinajobs.select("li");
        for(int j=0;j<li.size();j++){
            //获取到标签中的内容
            String text = li.get(j).text();
            //获取A标签的href 网址  select 获取到当前A标签 attr href 获取到地址
            String a_url = li.get(j).select("a").attr("href");
            //将获得到的数据放入表格中
            HSSFRow row = sheet.createRow(j);
            row.createCell(0).setCellValue(text);
            row.createCell(1).setCellValue(a_url);
            //继续判断，如果存在url，则继续爬取
            if (!a_url.equals("")){
                Document document_son = Jsoup.parse(new URL(a_url), 30000);
                Elements chinajobs_son = document_son.getElementsByClass("width01");
                Elements p = chinajobs_son.select("p");
                //将详情放入第三列
                row.createCell(2).setCellValue(p.text());
                //提取详情里的电话号码
//                String t = p.get(0).childNodes().get(4).toString();
//                //判断如果获取的不是电话（即：字符串中不包含“电话”字样），则录入空值
//                if (t.contains("电话")==false){
//                    System.out.println("未获取电话");
//                }else {
//                    System.out.println(t);
//                }
            }
        }
        try {
            FileOutputStream fout = new FileOutputStream("D:/爬虫数据.xls");
            wb.write(fout);
            fout.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

        这里的p.get(0).childNodes().get(4).toString()这句话，要根据debug查出的结果确定，要根据不同情况而不同，如案例中：

        上述代码中要根据爬取网站的标签进行确定，代码并不是唯一，要根据网站布局的实际情况而定，如有疑问可搜索关注公众号【终信信安】，留言咨询。