java爬虫采集某保险公司产品数据

最新推荐文章于 2024-05-18 21:47:28 发布
最新推荐文章于 2024-05-18 21:47:28 发布
阅读量660 收藏 2
点赞数
分类专栏： Java 文章标签： 队列 爬虫 java css jquery
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AyubLIbra/article/details/106943936
版权

1、主方法

package com.sprider.pingan;

import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.nio.charset.Charset;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import static com.sprider.utils.SetGetHead.setPinanHead;

/***  财产险
 *
 */
public class Caichan {

    private final static ArrayBlockingQueue<String> arrayBlockingQueue = new ArrayBlockingQueue<String>(100);
    private final static ExecutorService threadPool = Executors.newFixedThreadPool(10);
    //抓取首页
    private final static  String indexUrl = "http://baoxian.pingan.com/product/allbaoxianlist.shtml";

    public static void main(String[] args) throws Exception {

        // 使用线程技术消费队列的数据。
        threadPool.execute(new Runnable() {
            public void run() {
                while (true) {
                    System.out.println("等待~~~，还有商品抓取：:" + arrayBlockingQueue.size());
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                        // TODO Auto-generated catch block
                        e.printStackTrace();
                    }
                }

            }
        });

        for (int i = 0; i <= 9; i++) {
            // 使用线程技术消费队列的数据-----------------专门用来消费数据
            threadPool.execute(new Runnable() {
                public void run() {
                    while (true) {
                        try {
                            String pid = arrayBlockingQueue.take();
                            parserProductDetail(pid);
                        } catch (Exception e) {
                            // TODO Auto-generated catch block
                            e.printStackTrace();
                        }
                    }

                }
            });
        }

        // 生产者
        // 第一个事情：解析首页的信息，得到产品列表
        parserIndex();
        // 第二个事情：解析分页的信息，得到产品列表
        //dopaging();
        System.out.println("------------------------------------`");

    }

    //解析首页
    private static void parserIndex() throws Exception {
        // 1.指定url
        //http://baoxian.pingan.com/product/allbaoxianlist.shtml?WT.mc_id=property-home
        //拿到首页html
        String indexHtml = getHtml();
        getSearchResultInfo(indexHtml);
    }

    //根据stringHtml 拿到产品信息
    private static void getSearchResultInfo(String indexHtml) {
        if (indexHtml != null) {
            Document indexDoc = Jsoup.parse(indexHtml);
            // 6.定位到产品列表
            Elements liLists = indexDoc.getElementsByClass("list_product_nr por");
            //解析a标签
            Elements lists = liLists.select("a[href]");

            for (Element li : lists) {
                // 7.依次每个商品的详情页，并解析出数据
                try {
                    System.out.println("---------------start----------------");
                    System.out.println(li);
                    System.out.println("---------------a[href]----------------");
                    System.out.println(li.attr("href"));
                    System.out.println("---------------end----------------");
                    arrayBlockingQueue.put(li.attr("href"));
                } catch (InterruptedException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }

    //get请求  访问拿到统一格式的字符集string   UTF-8
    private static String getHtml() throws IOException, ClientProtocolException {
        // 2.将url对象封装成httpget对象
        HttpGet indexHttpGet = new HttpGet(indexUrl);
        //设置请求头
        setPinanHead(indexHttpGet);
        // 3.使用httpclient发起一个请求
        CloseableHttpClient indexHttpClient = HttpClients.createDefault();
        CloseableHttpResponse indexRes = indexHttpClient.execute(indexHttpGet);
        // 4.从响应结果中，获得首页的html文档
        if (200 == indexRes.getStatusLine().getStatusCode()) {
            // 5.获得首页的信息，从首页中找出商品的列表
            return EntityUtils.toString(indexRes.getEntity(), Charset.forName("utf-8"));
        }
        return null;
    }

    //根据页面解析
    private static void parserProductDetail(String pId) throws Exception {
        // 1.指定url
        //http://baoxian.pingan.com/product/eshengpinganyiliaoxian.shtml?WT.mc_id=property-home
        String pUrl = "http://baoxian.pingan.com" + pId ;
        // 2.封装成一个get请求
        HttpGet httpGet = new HttpGet(pUrl);
        //设置请求头
        setPinanHead(httpGet);
        // 3.使用httpclient发起请求
        CloseableHttpClient detailHttpClient = HttpClients.createDefault();
        CloseableHttpResponse detailRes = detailHttpClient.execute(httpGet);
        // 4.得到响应结果
        if (200 == detailRes.getStatusLine().getStatusCode()) {
            String detailHtml = EntityUtils.toString(detailRes.getEntity(), Charset.forName("utf-8"));
            // 5.解析文档
            Document detailDoc = Jsoup.parse(detailHtml);
			//后续一样的解析
            //System.out.println(detailDoc);

        }

    }

}

2、设置请求头

package com.sprider.utils;

import org.apache.http.client.methods.HttpGet;
import java.util.ArrayList;
import java.util.Random;

public class SetGetHead {

    /**
     * 设置http的HEAD
     *
     * @param httpGet  请求
     */
    public static void setPinanHead(HttpGet httpGet) {
        // 设置默认的请求参数
        httpGet.setHeader("User-Agent",getUserAgent());
        // 伪装成浏览器
        httpGet.setHeader("Accept",
                "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9");
        httpGet.setHeader("GET", "/product/allbaoxianlist.shtml?WT.mc_id=property-home HTTP/1.1");
        httpGet.setHeader("Host", "baoxian.pingan.com");

        httpGet.setHeader("Proxy-Connection", "keep-alive");
        httpGet.setHeader("Cache-Control", "max-age=0");
        httpGet.setHeader("Upgrade-Insecure-Requests", "1");
        httpGet.setHeader("Accept-Encoding", "gzip, deflate");
        httpGet.setHeader("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8");
        httpGet.setHeader("Cookie",
                "USER_TRACKING_COOKIE=0; Hm_lvt_2f53c35010dbe120000b9a32bd028225=1592893596; BIGipServerpa18-padweb_http_DMZ_PrdPool_20191218=622763735.60533.0000; routeopr=820dc71fbbc95c3f907bf22c598618b9; BIGipServerpa18-shop-nst_Prd_cloud_Pool=639475415.60533.0000; _ga=GA1.2.1026077564.1592893616; _gid=GA1.2.83529289.1592893616; USER_TRACKING_COOKIE=0; paid_test=09d54ee0-6223-6973-75b7-d1897b80c0f0; USER_TRACKING_COOKIE=172.25.100.204-1592893733346.346000000; MEDIA_SOURCE_NAME=property-home; adms_location=%E5%85%B6%E4%BB%96|0000000000000000$ALL$ALL$ALL; PA_Client_Source=direct; PA_GXH_PD=-1; PA_GXH_NSS=; PA_GXH_WSS=; WT-FPC=id=4.0.4.93-3678702496.30820674:lv=1592905458970:ss=1592905458970:fs=1592905458970:pn=1:vn=1; WEBTRENDS_ID=4.0.4.93-3678702496.30820674; inner_media=http://baoxian.pingan.com/product/jiankangbaoxian.shtml-%E9%A6%96%E9%A1%B5; Hm_lpvt_2f53c35010dbe120000b9a32bd028225=1592906141; DT_C_ID=a4fb223ec3e5ff11-318372c65c18c021-1592966461200-1592966805142");
        httpGet.setHeader("referer", "http://baoxian.pingan.com/product/allbaoxianlist.shtml");
        //httpGet.setHeader("pragma", "no-cache");

    }

    //随机返回一个agent
    private static String getUserAgent(){
        ArrayList<String> list = new ArrayList<String>(){{
            add("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2228.0 Safari/537.36");
            add("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2227.1 Safari/537.36");
            add("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2227.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2227.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2226.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2225.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2225.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/41.0.2224.3 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/40.0.2214.93 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/40.0.2214.93 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/37.0.2049.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/37.0.2049.0 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/36.0.1985.67 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/36.0.1985.67 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/35.0.3319.102 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/35.0.2309.372 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/35.0.2117.157 Safari/537.36");
            add("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/35.0.1916.47 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML); like Gecko) Chrome/34.0.1866.237 Safari/537.36");
            add("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36");
        }};
        int index = new Random().nextInt( list.size() );
        return list.get(index);
    }

}
Ayub
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python网络爬虫与数据采集.pdf
08-14
Python网络爬虫与数据采集
Python课程设计，爬取保险公司相关信息进行数据分析（包括数据清洗、数据处理和可视化）
m0_62688743的博客
06-26 1098
一个python的课程设计，学会了数据清洗，数据分析以及可视化。希望对你有些帮助。
java爬虫与ES数据分析.zip
03-08
如果您下载了本程序，但是该程序无法运行，或者您不会部署，那么您可以选择退款或者寻求我们的帮助（如果找我们帮助的话，是需要追加额外费用的） 爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
网络数据采集技术——Java网络爬虫实战
11-02
网络数据采集技术——Java
Python爬虫文件：全国保险业务员微信号爬取.py
05-01
Python爬虫文件：全国保险业务员微信号爬取.py Python爬虫文件：全国保险业务员微信号爬取.py
关于爬取企业信息类的爬虫（一）
学前班的博客
09-25 7025
最近需要用到，根据营业执照来查询企业的名称和地址，首先想到的是企查查之类的网页版，在手动查询几十条之后，发现跳出了个账号登录的页面，无法继续查询，且网页每天每个IP的查询量有限制，遂想到了写个爬虫脚本，使用代理的方式来查。 一、urllib实现 依据fillder抓包，发现在请求qcc.com网址时（GET），会发送相关的6个cookie信息给服务器，之后由服务器返回2个cookie值（包括CDN节点acw_tc、以及企查查服务器QCCSESSID）。由于本人能力有限，无法查到GET请求中，cookie
公司官网产品爬取写入ES
weixin_41514713的博客
08-11 218
爬取的信息包括：公司名称，产品url，产品名称，产品类别，产品详细信息 1. 翻页模版 import os from lxml import etree from baseUtils import * from hashlib import md5 import datetime _companyName = os.path.basename(__file__).replace(".py", "") timeNow = datetime.datetime.now().strftime('%Y-%m-
selenium 爬虫项目实例 爬取社保五险
lsnow8624的博客
08-20 1057
1、背景 受疫情影响，2020年国家为缓解企业困难，进行社保补贴。中间社保费用多次变化。 用selenium做了爬取社保的小项目。 其中登录需要输入图片验证码，使用百度云的OCR识别功能接口 2、百度云OCR设别 百度云注册后通过身份识别可以开启“通用OCR识别”功能，每天免费5万次。虽然识别率低，勉强能用 import time from aip import AipOcr APP_ID = '你的app_id' # 修改成你的app_id API_KEY = '你的api_key' # 修改成你的a
爬虫Scrapy框架学习（四）-中国保险监督委员会爬取案例
宋建国的博客
03-31 1448
本案例使用的框架为CrawlSpider框架，与传统Spider框架相比能够快速的实现页面跳转的功能，且本案例描述了随机替换User-Agent的“反反”爬虫思想，值得读者细心研究。 使用scrapy genspider –t crawl cf “circ.gov.cn”创建爬虫 1.项目框架展示 2.项目爬取网页展示 3.cf.py文件 # -*- coding: utf-8 -*- i...
Python爬虫——下载中英人寿保险的个人保险条款文件（.pdf）
Uridis的博客
01-18 1599
Python爬虫——下载中英人寿保险的个人保险条款文件（.pdf）说明声明 说明 支持原创，支持开放源码！ 声明 本文原创，转载请友情链接本文超链接或者地址： ...
爬虫采集行业数据_java_爬虫_数据分析_
10-01
通过爬虫技术获取采集的客户资料保存在默认的文件中
用java实现爬虫抓取网页中的表格数据功能源码
12-20
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据，将抓取到的数据在控制台打印出来，需要后续处理的话可以在打印的地方对数据进行操作。包解压后导入MyEclipse就可以使用，在TestCrawTable中右键运行就能看到抓取到的数据。其他的调试可以自行修改。
Python爬虫抓取技术的门道
06-18 299
web是一个开放的平台，这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特性、搜索引擎以及简单易学的html、css技术使得web成为了互联网领域里最为流行和成熟的信息传播媒介;但如今作为商业化软件，web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就...
企查查爬虫获取公司链接
Lifetime的博客
07-28 817
import openpyxl import requests # 模拟请求 import pandas as pd # 清洗数据 from bs4 import BeautifulSoup #打开目标execl，这里注意openpyxl能读取的execl后缀名是’.xlsx’文件 workbook1=openpyxl.load_workbook(‘企业.xlsx’) #选定目标sheet worksheet1 = workbook1.active 请求头 headers = { “user-agent
python爬取保险岛17000多个保险顾问的个性标签，并做词云图
云金杞
12-14 1785
#先上图 #代码 import time import re import requests from bs4 import BeautifulSoup import pandas as pd import numpy as np from selenium import webdriver from selenium.webdriver.common.keys import Keys
100%教会爬取全国保险业务员微信号码和拉勾网招聘数据
QQ_2296622142的博客
03-18 1225
下方两幅图是最近爬取某保险网站和拉勾的招聘数据，大家随意感受一下 Python爬虫人工智能教程：www.python88.cn 编程资源网：www.python66.cn 截图部分保险业务员微信二维码 截图部分拉勾网爬取信息 本文主要讲爬取某保险网站所有卖保险的人的微信号，个人网站，所在地区、所属保险公司等信息，代码已上传到QQ群（627714866） ...
Python爬虫爬取保监会披露信息
weixin_42874091的博客
03-22 2703
Python爬虫爬取保险业协会披露信息 由于导师要求，需要下载保险业协会官网-信息披露中相关科目保险公司披露的pdf。 中国保险行业协会 点击不同的科目，如保险公司年度信息披露，我们发现页面的url并没有发生变化。这时我们应该合理怀疑页面采取了某些异步(XHR/JS)的方式。 打开开发者工具，在Network中勾选ALL，清空后点击我们要选取的科目，如关联交易合并披露。 可以看到红框中标示出来的是...
实战 | webmagic爬取实战之爬取保险经纪人信息
mySoul
08-12 204
介绍小小根据上次爬取经验，发现爬取的时候，信息不太完善，这次针对手机页面进行爬取。查看手机页面相对于pc端口的页面，手机端的页面更容易爬取。通过网络信息，可以查看到是这个请求发起的网络信...
爬虫基础入门简介
最新发布
m0_56967679的博客
05-18 462
互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网！这个过程是不是像蜘蛛沿着网一样爬？这也是“爬虫”名字的由来。作为爬虫工程师，就是要写出一些能够沿着网爬的”蜘蛛“程序，保存下来获得的信息。一般来说，需要爬出来的信息都是结构化的，如果不是结构化的，那么也就没什么意义了（百分之八十的数据是非结构化的）。
Java爬虫数据处理
12-13
根据提供的引用内容，Java爬虫数据处理可以使用Java.util包下的Pattern和Matcher类进行数据的匹配和提取。具体步骤如下： 1. 首先，需要使用Java中的URL类来获取要爬取的网页内容，例如： ```java URL url = new URL("http://www.example.com"); URLConnection conn = url.openConnection(); InputStream is = conn.getInputStream(); ``` 2. 接着，使用Java.util.Scanner类读取网页内容，并将其存储在一个字符串中，例如： ```java Scanner scanner = new Scanner(is); scanner.useDelimiter("\\Z"); String content = scanner.next(); ``` 3. 然后，使用Pattern类定义一个正则表达式，该正则表达式可以匹配我们需要提取的数据，例如： ```java Pattern pattern = Pattern.compile("<div class=\"content\">(.*?)</div>"); ``` 4. 接着，使用Matcher类将正则表达式应用于网页内容，并提取出匹配的数据，例如： ```java Matcher matcher = pattern.matcher(content); while (matcher.find()) { System.out.println(matcher.group(1)); } ``` 上述代码将会匹配所有包含在`<div class="content">`和`</div>`之间的内容，并将其打印出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值