什么是爬虫，java爬虫，动态爬虫

最新推荐文章于 2025-12-01 17:26:42 发布
原创 最新推荐文章于 2025-12-01 17:26:42 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #java #开发语言

文章探讨了数据的价值，比喻为现代的石油资源，说明了数据在不同领域的应用，如消费者、企业和供应商。接着介绍了爬虫技术，包括通用爬虫和聚焦爬虫，以及它们如何模拟HTTP请求获取数据。文章还讨论了开放平台与爬虫的区别，特别是在数据获取和安全防护方面的策略，如IP限制、验证码和代理IP的使用。最后，提到了安全问题，如跨站攻击和防范措施，强调了在处理数据请求时的安全重要性。

前言

数据将成为像石油一样宝贵的资源？
在这里插入图片描述

石油通过不同的方式提取可以获得工业橡胶、柴油、汽油、航空煤油等各种不同的产物。

数据从某些方面来看是和石油一样，也是可以提炼的，不同视角去看数据会有不同的作用

比如拿到所有关于车的信息，包括车的销量，价格，购车群体信息等各种信息

  • 消费者角度：对比车的价格、质量、用户评价、品牌等相关信息，来决定要买哪一辆。

  • 车企：对比车的不同价格销量、不同供应商销量、不同的颜色销量、用户购买群体分析，分析以后发展方向。

  • 供应商：用户更喜欢什么材质的内饰，以后更多的生产哪些材料。

  • 售车顾问、二手车销售、修车商… … 他们都需要不同维度展示的关于车辆的信息。

离我们最近的爬虫

捜索引擎为什么能搜索出来这么多东西？因为他们有非常庞大的抓取系统，大家有没有注意到‘百度快照’
它是“通用爬虫”
在这里插入图片描述

另外一种叫做聚焦爬虫
聚焦爬虫是面向特定内容进行的爬虫，目的是为了满足对特定领域信息的需求.

正文

开放平台和爬虫区别

面对一个数据列表接口

  • 正常访问就可以看到数据，但是数据不能够按照批量的被拿走。

  • 开放平台是提供接口，提供调用方式，验证身份后就可以提供数据，这个可以批量获取数据，但是很多公司提供的相关服务是收费的。比如钉钉的开放平台有接口是可以给用户的钉钉发通知，chatgpt提供的接口是收费的。

爬虫是将网页视作数据来源，通过模拟请求，获取响应结果。 通过构造一个http请求获取响应内容

页面发什么内容模拟的请求也发一样的内容，他的头部带什么内容模拟的请求头部也带一样的内容，页面翻页请求也翻页。（动态爬虫）

相应的，页面响应中获取到的内容模拟的请求也能获取一样的内容，拿到数据后可以筛选获得有需要的数据。
在这里插入图片描述
在这里插入图片描述

package com.qdnsjly.spider;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.http.HttpEntity;
import org.apache.http.client.HttpRequestRetryHandler;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.protocol.HttpClientContext;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.client.StandardHttpRequestRetryHandler;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;

import java.io.IOException;
import java.net.URISyntaxException;

public class MockHttpDCD {

    static CloseableHttpClient httpClient = null;

    static {
        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
        // 总连接池数量
        connectionManager.setMaxTotal(150);
        // 可为每个域名设置单独的连接池数量
//        connectionManager.setMaxPerRoute(new HttpRoute(new HttpHost("xx.xx.xx.xx")), 80);
        // setConnectTimeout：设置建立连接的超时时间
        // setConnectionRequestTimeout：从连接池中拿连接的等待超时时间
        // setSocketTimeout：发出请求后等待对端应答的超时时间
        RequestConfig requestConfig = RequestConfig.custom()
                .setConnectTimeout(1000)
                .setConnectionRequestTimeout(2000)
                .setSocketTimeout(3000)
                .build();
        // 重试处理器，StandardHttpRequestRetryHandler
        HttpRequestRetryHandler retryHandler = new StandardHttpRequestRetryHandler();

        httpClient = HttpClients.custom().setConnectionManager(connectionManager).setDefaultRequestConfig(requestConfig)
                .setRetryHandler(retryHandler).build();
    }

    public static void main(String[] args) throws URISyntaxException, IOException {
        URIBuilder uriBuilder = new URIBuilder("https://www.dongchedi.com/motor/pc/car/brand/select_series_v2?aid=1839&app_name=auto_web_pc");
        HttpPost httpGet = new HttpPost(uriBuilder.build());
        httpGet.addHeader("content-type","application/x-www-form-urlencoded");
        httpGet.addHeader("cookie","ttwid=1%7C322xU5YuG-t4MEQVAUVZxyVvVTwAFawFhHhD3NCLVBE%7C1680152615%7C5857fde081bd6cfff9ddc69451d8e132d361c2a6a676cca803b856f83f320353; tt_webid=7216200492823987768; tt_web_version=new; is_dev=false; is_boe=false; Hm_lvt_3e79ab9e4da287b5752d8048743b95e6=1680152615; _gid=GA1.2.1083416773.1680152616; _gat_gtag_UA_138671306_1=1; s_v_web_id=verify_lfunhjw1_blQfYtGE_CVnj_4Eav_A4wl_0LYoJmAlwlM3; city_name=%E6%9D%AD%E5%B7%9E; Hm_lpvt_3e79ab9e4da287b5752d8048743b95e6=1680152634; _ga=GA1.1.862026144.1680152616; msToken=ZPiC6WtWFc_qXQghNA8N3VxwvmAkkaSUAKvfKVBPwpeM0OnSYwFHRzKMALHuegSE7_KaLMyFGBOV_z6bqWe2VDo_ijSy7-dH8CuC0i_nyK8=; _ga_YB3EWSDTGF=GS1.1.1680152615.1.1.1680152640.35.0.0");
        httpGet.addHeader("origin","https://www.dongchedi.com");
        httpGet.addHeader("pragma","no-cache");
        httpGet.addHeader("referer","https://www.dongchedi.com/auto/library/x-1-x-x-x-x-3-x-x-x-x-x-x-x-x-x-x-x");
        httpGet.addHeader("sec-ch-ua","\"Google Chrome\";v=\"111\", \"Not(A:Brand\";v=\"8\", \"Chromium\";v=\"111\"");
        httpGet.addHeader("sec-ch-ua-platform","\"macOS\"");
        httpGet.addHeader("sec-fetch-dest","empty");
        httpGet.addHeader("sec-fetch-mode","cors");
        httpGet.addHeader("sec-fetch-site","same-origin");
        httpGet.addHeader("user-agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36");
        HttpContext context = HttpClientContext.create();
        CloseableHttpResponse response = httpClient.execute(httpGet,context);

        int statusCode = response.getStatusLine().getStatusCode();
        System.out.println(statusCode);
        HttpEntity entity = response.getEntity();
        if (null != entity) {
            String resStr = EntityUtils.toString(entity, "utf-8");
            JSONObject jsonObject = JSON.parseObject(resStr);
            System.out.println(jsonObject);
            JSONObject data = jsonObject.getJSONObject("data");
            JSONArray series = data.getJSONArray("series");
            for (Object serie : series){
                JSONObject car = JSON.parseObject(serie.toString());
                System.out.println("车企：" +car.getString("brand_name") +"，车名："+ car.getString("outter_name") +"，价位区间"+ car.getString("pre_price"));
//                System.out.println(car);
            }

        }

    }
}

这里使用的是CloseableHttpClient，它是HttpClient的子接口,对比原来的httpClient优势在于可以构建多线程并发环境。（需要你把cookie换成你自己的）

在爬取过程中会遇到很多的问题，因为所有网站都不希望数据被别人轻易拿走，但是又不能让真正想要访问的正常用户获取不到要看到的内容。
这个接口是可以直接获取到一个json的信息，但是如果获取到的不是json，而是一个页面，就需要用Xpath去抽取页面元素中的内容。

XPath是一门在XML和HTML文档中查找信息的语言

攻防一体：当爬虫来敲门

攻击：

通过模拟请求获取数据的过程中，迅速翻页，换参数，不停的发请求
在这里插入图片描述

防御：

1.时间段内ip限制访问次数
2.让用户登录
3.前端混淆（方法多种多样，请求加一个加密参数，或者字典码）
在这里插入图片描述

4.验证码
在这里插入图片描述

再攻击：

使用代理ip请求，每个代理ip模拟请求，分散访问次数，破ip次数限制（代理ip是收费的，根据代理ip的匿名性以及使用时间收费不等，但是可以通过不断优化代码去减少这个成本）
Selenium(Selenium是web自动化的一个工具，可以模拟一个真的浏览器，然后再模拟鼠标操作，但是缺点是太慢了，而且调用浏览器比较多消耗内存，多线程会出现卡死情况)
下载下来页面的js文件，破解混淆（需要一定的js功力）（使用webpack类似工具的打包之后代码可读性变得非常差）
在这里插入图片描述

购买第三方接口去对图片验证码解析
在这里插入图片描述

再防御：

打包做成应用：手机app，电脑app，小程序（隐藏混淆代码）
加大查封代理ip的力度（对于恶意的请求ip地址逐渐的加大力度）

攻击升级：

分布式爬虫：肉鸡（仅用来做发请求，接收数据，再将数据包传给主机）大量使用代理ip
反编译app或者小程序

防御升级：

购买专业的安全服务，由专业人士负责打理安全问题

fiddler网络代理调试工具

在这里插入图片描述

这个应用可以用来做APP抓包，因为app不像网页中的请求一样可以用f12打开开发调试面板，电脑上的应用和手机上的应用以及小程序发出请求后，如果不依靠工具很难看到请求内容。
如果遇到混淆的请求，就需要去反编译，脱壳之后看小程序或者应用的源码。

构造一只http爬虫须知
/robots.txt协议
在这里插入图片描述

User-agent: 搜索机器人的名称
Disallow: 不允许搜索机器人访问的地址
Allow: 允许搜索机器人访问的地址

我们好像可以做点什么

短信轰炸机
使用一个手机号作为请求参数访问多个可以发短信验证码的地址

拿到数据之后可以通过不同维度展示数据，以这种形式做一个网站

抢茅台

大家有没有更好的想法？

警惕违法犯罪行为

越重要的数据反爬做的越严格，但是如果是一个以内容为核心的网站，抓取一次全量的数据后就可以复刻出来。
跨站攻击（也是模拟请求）-登录后，是有cookie和session在的，如果再打开一个钓鱼网站，可能就直接发送一个转账或者别的请求，因为你的登录态还没有失效，如果没有做好防范就有可能被攻击。

安全相关需要警惕的

如果有人尝试模拟一个请求来访问接口（有正确的cookie，session）
修改，删除时要注意校验当前数据是否是当前用户的，如果很随意就写了根据主键修改，这样非常不安全 ，要根据数据是否属于操作用户再校验一下

精选资源
instagram用户信息 照片 视频动态 Java爬虫.zip
03-08
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
精选资源
招标信息爬虫Java+html
03-18
标题中的“招标信息爬虫Java+html”表明我们要讨论的是一个使用Java编程语言实现的网络爬虫，其目标是抓取网页上的招标信息。招标信息通常在网上公布，以供潜在的供应商参与竞标，这些信息可能包括项目名称、招标...
Java的 爬虫应用教程，实战数据抓取与分析
Ob2024的博客
06-26 1631
随着互联网时代的到来，数据成为了企业和个人获取成功的一条必经之路，所以数据的重要性也越来越高。URL管理器管理爬虫需要爬取的URL地址，并记录哪些URL已经爬取过了，哪些URL还需要被爬取。了解了Java爬虫的基本思路和实现方式之后，我们可以尝试编写一个简单的爬虫程序来获取某个网站的数据并进行分析。（1）内存式URL管理器：使用一个Set或Queue来记录已经爬取的URL和待爬取的URL。我们选择爬取豆瓣电影排行榜的数据。将获取到的电影信息存储到数据库中，并进行分析，我们就完成了Java爬虫的实战应用。
java网络爬虫学习记录（二）抓包分析
memoryCoderC的博客
10-04 1274
抓包介绍
爬虫脚本ttwid参数
一只小爬虫的博客
10-09 4569
今天研究了搜索引擎的ttwid参数，站点其实不难 就是弄完了有点无语 特别记录一下 这个坑。
输入关键词获取今日头条免费图片
进阶中的小白
05-17 9926
简单介绍 实现步骤 相关代码 import requests import json import os from urllib.parse import urlencode #伪装浏览器 header={ 'Host': 'so.toutiao.com', 'Referer':'https://so.toutiao.com/search?keyword=%E8%A1%97%E6%8B%8D&pd=atlas&source=search_subtab_switch&am
JavaWeb之抓包之旅(二) :抓包工具
热门推荐
samll leaf
05-05 1万+
谈到抓包工具，我们很多的浏览器都内置了抓包工具，还有很多优秀的插件，这里我用到的是：charles。（当我说到这个工具的时候，你可能会，哦，原来是这个啊，网上也有一堆教程，但是这里我想用多个例子来示例）。至于Charles的安装说明，请看链接:charles使用教程指南接下来我就来讲3个实例：(记得Charles代理得开，手机抓包时，wifi设置代理) 第一我们来抓今日头条网页的一个新闻链接，来看看
分级反爬虫是什么？JAVA实现反爬虫策略
欢迎来到空说的博客
03-25 2455
因为你无法限制真实的用户，攻击者完全可以模拟真实用户的访问方式来获取你的网站数据，比如找 10 个用户，每人获取几百题。爬虫是有一定风险的，自己学习倒没问题，但是千万别给人家的网站造成压力了，搞不好就有破坏计算机系统的嫌疑了！对于一个简单的项目，如果主要的目的是反爬虫，而不是应对高并发大流量的请求，所以不需要结合 Sentinel 或 Hotkey 去精确统计流量。当然这招只能防菜鸟，因为请求头是可以很轻松地伪造的，只要通过浏览器自带的网络控制台获取到响应正常的请求头信息，就可以绕过检测了。
Java网络爬虫工程
2401_88326437的博客
03-07 1603
给小伙伴们的意见是想清楚，自学网络安全没有捷径，相比而言系统的网络安全是最节省成本的方式，因为能够帮你节省大量的时间和精力成本。坚持住，既然已经走到这条路上，虽然前途看似困难重重，只要咬牙坚持，最终会收到你想要的效果。黑客工具&SRC技术文档&PDF书籍&web安全等（可分享）网络安全产业就像一个江湖，各色人等聚集。
java爬虫登录验证码解析.zip
03-08
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
精选资源
Java网络爬虫(蜘蛛)源码.zip
03-29
Java网络爬虫（也称为蜘蛛）是一段用于自动抓取互联网上的数据并进行分析处理的程序代码。这些爬虫通常用于搜索引擎索引、数据挖掘、市场研究或任何需要从大量网页中提取有用信息的场景。 在Java中，编写网络爬虫...
用java实现爬虫抓取网页中的表格数据功能源码
12-20
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据，将抓取到的数据在控制台打印出来，需要后续处理的话可以在打印的地方对数据进行操作。包解压后导入MyEclipse就可以使用，在TestCrawTable中右键...
Java爬虫入门简介（四）——抓包工具的使用以及使用HttpClient模拟用户登录的访问
DataLearnerAI
10-31 1万+
原文地址：http://www.datalearner.com/blog/1051509365677137网络爬虫需要解决的一个重要的问题就是要针对某些需要用户名和密码访问的页面可以模拟用户自动登录。在这一篇博客中我们将介绍如何使用Chrome浏览器自带的抓包工具分析页面并模拟用户自动登录。我们会以CSDN的用户登录为例，讲述如何使用抓包工具获取登录方式并使用HttpClient工具模拟登陆访问。在
推荐4个爬虫抓包神器
Python之禅的专栏
06-27 1930
爬虫的基本原理就是模拟客户端（可以是浏览器，也有可能是APP）向远程服务器发送 HTTP 请求，我们需要知道目标服务器的 HOST、URI、请求方法、请求参数、请求头、请...
爬虫playwright中的等待机制
Aerelin的博客
11-30 186
摘要：本文介绍了网页自动化测试中的等待机制。主要包含三种等待方式：1）指定时间等待（page.wait_for_timeout）；2）页面加载状态等待（load/domcontentloaded/networkidle三种状态）；3）元素状态等待（visible/hidden）。重点说明了操作速度控制的重要性，建议使用等待机制模拟人类操作节奏，避免因操作过快被识别为爬虫。同时提醒谨慎使用networkidle状态，推荐通过元素状态断言来判断页面就绪情况。
Python抓取ZLibrary元数据实战指南
yiruo250的博客
11-29 538
本文介绍使用Python抓取ZLibrary电子书元数据的技术方案。首先说明准备工作，包括Python环境配置、网页结构分析和反爬策略。详细讲解两种抓取方法：静态页面使用requests+BeautifulSoup解析，动态内容通过Selenium模拟浏览器操作。提供数据存储示例（CSV/JSON格式）和清洗技巧，并介绍异步抓取、Scrapy框架等高级优化方案。特别强调法律合规性，包括遵守robots.txt、控制请求频率及版权注意事项。附完整代码示例链接，为电子书数据分析提供技术参考。
Java爬虫第三方平台获取1688关键词搜索接口实战教程
最新发布
APIshop的博客
12-01 275
以下实战教程基于第三方 API 网关（如 onebound.cn）暴露的 1688 关键词搜索接口编写，不依赖官方 SDK，只需普通开发者账号即可调用。每页 40 条，10 页就是 400 SKU，可放到 CompletableFuture 并行拉取，15 线程 3 s 结束。接口即可，解析逻辑与本文完全一致，不再赘述。定时任务：Docker + cron，每小时增量跑一次，飞书 WebHook 推送变更条数。接口封装成 REST 风格，GET 请求，返回 JSON。（通常即时下发，无需企业资质）。
遵守robots协议的友好爬虫
2502_90907501的博客
11-27 682
本实验通过urllib.robotparser和requests库实现了遵守robots协议的网页爬取。实验解析目标网站的robots.txt文件，分别测试"Googlebot"和"Baiduspider"两种User-Agent的爬取权限，发现只有前者获准访问指定政府网页。验证权限后，程序成功获取网页内容并保存至本地。实验验证了robots协议的权限控制机制，展示了合规爬虫的开发流程，为网络数据采集提供了合法操作范例。
Python 爬虫高级面试真题_19
CXY00000的博客
12-01 125
【问题 4752】 JavaScript 动态参数如何逆向工程？ 【【答案 4752】 arguments对象分析：在非箭头函数中，可通过arguments对象访问所有传入参数。使用或查看参数结构。剩余参数(rest parameters)：对于使用语法的函数，可通过遍历args数组理解参数传递模式。函数调用分析：使用跟踪调用栈，了解参数来源。对于apply/call调用，分析第二个参数数组或对象。类型检查：使用、和验证参数类型，构建参数映射表。调试技术：代码重构：通过识别参数模式，将动态参数重构为命
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值