【Java】爬虫技术总结

最新推荐文章于 2023-06-18 16:02:35 发布
最新推荐文章于 2023-06-18 16:02:35 发布
阅读量565 收藏 2
点赞数
分类专栏： Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42158942/article/details/103863978
版权

第一步、分析网页

要找到URL的规律，找出页面跟URL的关系。我们需要的response的请求头有什么内容，有什么作用，也需要搞清楚。

分页一般是与url参数有关
51job分页：

//大数据,1177页，共58848条职位
for (int i=1;i<=1177;i++){
    String url="https://search.51job.com/list/000000,000000,0000,01,9,99,%25E5%25A4%25A7%25E6%2595%25B0%25E6%258D%25AE,2,"+i+".html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=";
    getHtml(url);
}

百度图片分页：

url='https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord='+word+'&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word='+word+'&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&cg=girl&rn=30&gsm=&1575687587077=&pn='+page

反反爬虫

一般是设置请求头解决
伪装成浏览器，这个少不了

con.setRequestProperty("user-agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36");

其他请求头：
京东反反爬虫，设置"Referer","https://list.jd.com/list.html"

URL urlObj = new URL(url);
// 1. 建立http连接
HttpURLConnection con = (HttpURLConnection) urlObj.openConnection();
// 2. 配置request header
con.setRequestProperty("user-agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36");
con.setRequestProperty("Sec-Fetch-Mode","no-cors");
con.setRequestProperty("Referer","https://list.jd.com/list.html");
// 3. 打开连接
con.connect();

百度图片反反爬虫设置请求头

Referer: http://image.baidu.com

第二步、有了网页，那就要取到有用信息了

jsoup工具的使用

package com.jsoup.gethtml;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;

public class Get51Job {
    public static void getHtml(String url){
        try {
            Document doc = Jsoup.connect(url).get();
            Elements spans = doc.select("p.t1 a");
            int i=1;
            for(Element span:spans){
                String joburl=span.attr("href");
                getDetails(joburl);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    public static void getDetails(String joburl){
        //https://jobs.51job.com/shenzhen-nsq/117347710.html?s=01&t=0
        //https://jobs.51job.com/hangzhou/112946708.html?s=01&t=0
        //https://jobs.51job.com/guangzhou/114204332.html?s=01&t=0
        try {
            String txt="";
            Document doc = Jsoup.connect(joburl).get();
            //维保销售主任 10-15万/年
            Elements h1s = doc.select("div.cn h1");
            Elements money = doc.select("div.cn strong");
            for (Element e:h1s){
                txt+=e.text()+"`";
            }

            for (Element e:money){
                txt+=money.text()+"`";
            }
            //通力电梯有限公司
            Elements comp = doc.select("a.catn");
            for (Element e:comp){
                txt+=e.text()+"`";
            }
            //合肥  |  无工作经验  |  招1人  |  09-24发布
            Elements addrs = doc.select("p.msg");
            int y=0;
            for (Element e:addrs){
                String[] split = e.text().split("\\|");
                for (String s:split){
                    y++;
                    txt+=s+"`";
                }
            }
            if(y<7){
                for (int i=0;i<7-y;i++){
                    txt+= "`";
                }
            }
            //五险一金补充医疗保险免费班车员工旅游餐饮补贴绩效奖金定期体检
            Elements  welfares= doc.select("span.sp4");
            for (int i=0;i<welfares.size();i++){
                if(i==welfares.size()-1){
                    txt+=welfares.get(i).text();
                    continue;
                }
                txt+=welfares.get(i).text()+"|";
            }
            txt+=",";
            //公司
            Elements comp1 = doc.select("p.at");
            for (int i=0;i<comp1.size();i++){
                if(i==comp1.size()-1){
                    txt+=comp1.get(i).text();
                    continue;
                }
                txt+=comp1.get(i).text()+"`";
            }
            if(y<=4){

            }else {
                txt+="\n";
                writeTxt(txt,"D://reptile/51jobs_new2.txt");
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void writeTxt(String str,String path) throws IOException {
        File txt=new File(path);
        if(!txt.exists()){
            txt.createNewFile();
        }
        byte bytes[];
        bytes=str.getBytes();
        int b=bytes.length;   //是字节的长度，不是字符串的长度
        FileOutputStream fos=new FileOutputStream(path,true);
        fos.write(bytes,0,b);
        fos.close();
    }


    public static void main(String[] args) {
        for (int i=1;i<=1177;i++){
            String url="https://search.51job.com/list/000000,000000,0000,01,9,99,%25E5%25A4%25A7%25E6%2595%25B0%25E6%258D%25AE,2,"+i+".html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=";
            getHtml(url);
        }
     
    }
}

json格式
请求工具CrawlerUtil

package com.hopu.bigdata.home;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

public class CrawlerUtil {

    public static String getSource(String url) {
        return getSource(url, "utf8");
    }

    public static String getSource(String url, String charset) {
        String src = "";
        try {
            URL urlObj = new URL(url);
            // 1. 建立http连接
            HttpURLConnection con = (HttpURLConnection) urlObj.openConnection();
            // 2. 配置request header
            con.setRequestProperty("user-agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36");
            // 3. 打开连接
            con.connect();

            // 判断是否请求成功
            if (con.getResponseCode() == 200) {
                //4. 请求成功则获取网页源代码
                InputStream is = con.getInputStream();
                ByteArrayOutputStream baos = new ByteArrayOutputStream();
                byte [] bytes = new byte[1<<20];
                int len;

                while ((len=is.read(bytes)) != -1) {
                    baos.write(bytes, 0, len);
                }

                // 字符 = 字节 + 编码格式
                src = new String(baos.toByteArray(), charset);
                baos.close();
                is.close();

                return src;
            }

        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
        }

        return src;
    }

    public static String getSource(String url,String charset,String header) {
        String src = "";
        try {
            URL urlObj = new URL(url);
            // 1. 建立http连接
            HttpURLConnection con = (HttpURLConnection) urlObj.openConnection();
            // 2. 配置request header
            con.setRequestProperty("user-agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36");
            con.setRequestProperty("Sec-Fetch-Mode","no-cors");
            con.setRequestProperty("Referer","https://list.jd.com/list.html");
            // 3. 打开连接
            con.connect();

            // 判断是否请求成功
            if (con.getResponseCode() == 200) {
                //4. 请求成功则获取网页源代码
                InputStream is = con.getInputStream();
                ByteArrayOutputStream baos = new ByteArrayOutputStream();
                byte [] bytes = new byte[1<<20];
                int len;

                while ((len=is.read(bytes)) != -1) {
                    baos.write(bytes, 0, len);
                }

                // 字符 = 字节 + 编码格式
                src = new String(baos.toByteArray(), charset);
                baos.close();
                is.close();

                return src;
            }

        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
        }
        return src;
    }
}

使用工具得到json的response，并取值

public static void getJobs(String url){
//        http://s.cjol.com/service/joblistjson.aspx?&ListType=2&page=2
        String jsonStr = CrawlerUtil.getSource(url);
        // 可以把jsonObject理解为Map，使用get方法，获取属性值。
        JSONObject jsonObject = new JSONObject(jsonStr);
        Object jobListHtml = jsonObject.get("JobListHtml");
        String html=jobListHtml.toString();
        Document doc = Jsoup.parse(html);
        Elements li = doc.select("li");
        int i=1;
        String txt="";
        for (Element l:li){
            txt+=l.text();
            if(i%8==0){
                txt+="\n";
            }else {
                txt+="\t";
            }
            i++;
        }
        try {
            writeTxt(txt,"D://jobs.txt");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

第三部、存储

TXT文件

 public static void writeTxt(String str,String path) throws IOException {
        File txt=new File(path);
        if(!txt.exists()){
            txt.createNewFile();
        }
        byte bytes[];
        bytes=str.getBytes();
        int b=bytes.length;   //是字节的长度，不是字符串的长度
        FileOutputStream fos=new FileOutputStream(path,true);
        fos.write(bytes,0,b);
        fos.close();
    }

写数据库
mysql
HBASE
。。。

总结

爬虫其实比较简单，就是比较烦人，爬取一个网站要踩许多坑，需要解决各种小问题，当然，熟能生巧。

BIG*BOSS
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java爬虫教程及工具应用
09-16
爬虫技术就是一种自动化获取网络数据的有效手段。Java作为一种广泛使用的编程语言，在爬虫开发领域也占据着重要的地位。Java爬虫不仅可以帮助我们高效地抓取数据，还能对数据进行清洗、存储等操作。 #### 二、Java...
java网络爬虫-总结
prpjava2011的专栏
05-19 1770
从今年的三月份，正式接受公司的
Java爬虫总结
diej22199的博客
09-19 294
网络爬虫总结 爬虫准备 JDK 1.7 Eclipse(或STS) httpclient 4.3以上版本 jsoup(html解析器) Chrome(带有开发者工具的浏览器) 请求分析 对爬虫网站进行请求分析。 主要获取请求头、cookie和请求对应的URL。 对于无法直接获取请求URL的请求，比如通过form表单提交的请求， 或者ajax请求，需要通过源码来查看提交的URL地址。 ...
java爬虫课设报告_Java爬虫总结
weixin_35930535的博客
02-25 954
网络爬虫总结爬虫准备JDK 1.7Eclipse(或STS)httpclient 4.3以上版本jsoup(html解析器)Chrome(带有开发者工具的浏览器)请求分析对爬虫网站进行请求分析。主要获取请求头、cookie和请求对应的URL。对于无法直接获取请求URL的请求，比如通过form表单提交的请求，或者ajax请求，需要通过源码来查看提交的URL地址。对于POST请求中的请求参数，可以通过...
爬虫实习小结
热门推荐
cifer的学习笔记
04-29 1万+
这两天找了个实习，名义是python工程师，其实就是写爬虫+整合到django。实习很奇葩，还有试用期的，现在试用期过了等后续安排，正好整理下这几天写爬虫的一些心得体会。 首先，感觉写爬虫真的是个经验活，一般的网站说白了就是不停往request里试参数。直接爬不行加headers=试试，看有提交的表单就加个data=试试。这里要区分下的是POST方法对应的是Form Data，可以通过r
Java爬虫开发总结
Stephanie的专栏
04-23 2218
Java爬虫需要的库 主要是Jsoup和OKHTTP， 具体的依赖如下： <!-- 为了利用httpclient访问url，爬虫用--> <dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient</artifactId> &
Java爬虫案例
08-24
Java爬虫是一种使用Java编程语言实现的网络爬虫技术，它是数据抓取和自动化浏览互联网信息的一种工具。在这个“Java爬虫案例”中，我们将深入探讨如何利用Java来编写一个基本的网页爬虫。 首先，Java爬虫的核心是...
Amazon.rar_amazon 爬_java爬虫
07-15
总结来说，这个Java爬虫项目涵盖了网络爬虫的基本要素，包括请求、解析、下载和存储，同时也可能涉及到更高级的技术，如API利用、动态内容抓取和多线程。用户可以通过这个项目学习到如何构建一个完整的网络爬虫，并...
Java爬虫项目
11-19
Java爬虫项目是一种利用编程语言（本例中是Java）自动化地从互联网上抓取信息的技术。在这个项目中，我们特别关注的是如何爬取一个网站的全部页数，并且将所有图片下载到本地。这个过程涉及到多个Java爬虫相关的知识...
java+mvn爬虫
07-17
总结：这个“java+mvn爬虫”项目提供了一个使用Java和Maven构建爬虫的基础框架，可以帮助开发者快速入门爬虫技术。通过学习和实践这个项目，你可以掌握HTTP请求、HTML解析以及依赖管理的基本技能，为进一步深入研究...
Java爬虫详细完整源码实例
09-03
Java爬虫，信息抓取的实现 详细完整源码实例打包给大家，需要的可以下载下载学习！打包给大家，需要的可以下载下载学习！
爬虫讨论总结.doc
11-27
爬机制应对措施 限制帐号获取数据 cookie系统，通过程序获取多个帐号登录cookie，随机使用 限制ip访问数据 通过代理服务器，访问...
Java爬虫详解
Jack章臣的博客
11-03 5248
我们需要提取图中圈出来的内容及其对应的链接，在提取的过程中，我们会使用两种方式来提取，一种是 Jsoup 的方式，另一种是 httpclient + 正则表达式的方式，这也是 Java 网络爬虫常用的两种方式，你不了解这两种方式没关系，后面会有相应的使用手册。在正式编写提取程序之前，我先交代一下 Java 爬虫系列博文的环境，该系列博文所有的 demo 都是使用 SpringBoot 搭建的，不管你使用哪种环境，只需要正确的导入相应的包即可。
java爬虫---爬取某直聘招聘信息（超详细版）
最新发布
weixin_54129622的博客
06-18 3280
Java爬虫 爬取BOSS直聘招聘信息的详情，技术栈：WebMagic+selenium爬取页面元素，POI实现Excel存储，简单版，超容易学！
java网络爬虫实验报告_Java网络爬虫实操（6）
weixin_42531396的博客
03-01 802
大家好，前几篇文章一直提到用xpath去解析html。由于是演示代码，所以看上去都简洁明了的。其实在生产环境下，我们需要获取的数据往往不是一点点，如何让获取数据的代码写的更加清晰、优雅呢？本篇文章尝试用注解的方式实现一下，大家看看是否好一点。1) 目标随便找一个网站，获取上面列表类的数据目标数据的界面2) 之前的解析类在process方法中围绕我们想要的数据，努力去定位、查找package com...
Java爬虫到一些总结和心得
leaderway的博客
08-22 4731
最近做了很多关于爬虫到项目，写点感想，以后查询 1.请求http连接，并保存内容，catch不同到exception进行反爬处理 int countUrl=0;              public String getOneHtml(String htmlurl,String encoding,String cookie) throws IOException, Interrupted
java网络爬虫实验报告,Java网络爬虫实操（8）
weixin_34651547的博客
03-16 609
大家好，本篇文章介绍一下NetDiscovery爬虫框架里的downloader对象1) 前言面向对象设计仍然是目前编程的核心思想，从下面截图可以了解爬虫框架的主要对象：程序在本地组织好一个request后，交给downloader从网络上抓取数据到本地，然后由parser处理本地的这些数据，最终生成可用的信息。2) downloader介绍downloader我们也称为下载器，主要功能就是访问网...
Java网络爬虫-总结
lhp15575865420的博客
07-16 717
网络爬虫技术的小总结
Java网络爬虫（十）--使用多线程提升爬虫性能的思路小结
Paranoid
06-14 1万+
在开始说正事之前我先给大家介绍一下这份代码的背景，以免大家有一种雾里看花的感觉。在本系列的前几篇博客中有一篇是用多线程进行百度图片的抓取，但是当时使用的多线程是非常粗略的，只是开了几个线程让抓取的速度提升了一些（其实提升了很多），初步的使用了一下线程，这篇博客将线程的使用进行了一些深入。 项目背景 博主这次的需求是抓取一些淘宝的数据，在此之前我们需要掌握基本的并行爬虫的相关知识。在这里
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值