爬虫入门案例

最新推荐文章于 2023-05-23 15:32:39 发布
最新推荐文章于 2023-05-23 15:32:39 发布
阅读量165 收藏
点赞数
分类专栏： 爬虫入门 java 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DFGOMC/article/details/107650358
版权

java爬虫入门案例

本博客只供学习，搜索手机。

jd

1.sql脚本

DROP TABLE IF EXISTS `jb_item`;
CREATE TABLE `jb_item`  (
  `id` bigint(10) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `spu` bigint(15) NULL DEFAULT NULL COMMENT '商品集合id',
  `sku` bigint(15) NULL DEFAULT NULL COMMENT '商品最小品类单元id',
  `title` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商品标题',
  `price` bigint(10) NULL DEFAULT NULL COMMENT '商品价格',
  `pic` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商品图片',
  `url` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '商品详情地址',
  `created` datetime(0) NULL DEFAULT NULL COMMENT '创建时间',
  `updated` datetime(0) NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `sku`(`sku`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '京东商品表' ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

2.pom依赖

 <!-- SpringMVC -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- SpringData jpa -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.11</version>
</dependency>
<!-- HttpClient -->
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
</dependency>
<!-- jsoup -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>
<!-- 工具包 -->
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
</dependency>

3.application.properties

spring.datasource.url=jdbc:mysql://localhost:3306/dailytest?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai&zeroDateTimeBehavior=CONVERT_TO_NULL&allowPublicKeyRetrieval=true
spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver
spring.datasource.username=root
spring.datasource.password=123456

#jpa
spring.jpa.datasource=MySQL
spring.jpa.show=true

4.pojo

@Entity
@Table(name = "jd_item")
public class Item {

    //主键
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    //标准商品单位（商品集合）
    private Long spu;
    //库存量单位（最小品类单元）
    private Long sku;
    //商品标题
    private String title;
    //商品价格
    private Double price;
    //商品图片
    private String pic;
    //商品详情地址
    private String url;
    //创建时间
    private Date created;
    //更新时间
    private Date updated;
    //get和set方法
}

5.dao

public interface ItemDao extends JpaRepository<Item, Long> {
}

6.service

public interface ItemService {
    //保存商品
    public void save(Item item);
    //根据条件查询商品
    public List<Item> findAll(Item item);
}

7.service实现

@Service
public class ItemServiceImpl implements ItemService {

    @Autowired
    private ItemDao itemDao;
    @Override
    public void save(Item item) {
        itemDao.save(item);
    }

    @Override
    public List<Item> findAll(Item item) {
        //声明查询条件
        Example<Item> example = Example.of(item);
        //根据查询条件进行查询数据
        List<Item> list = itemDao.findAll(example);
        return list;
    }
}

8.启动类

@SpringBootApplication
//使用定时任务，添加注解
@EnableScheduling
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

9.封装Httpclient

@Component
public class HttpUtils {

    private PoolingHttpClientConnectionManager poolingHttpClientConnectionManager;

    public HttpUtils() {
        this.poolingHttpClientConnectionManager = new PoolingHttpClientConnectionManager();
        //设置最大连接数
        poolingHttpClientConnectionManager.setMaxTotal(100);
        poolingHttpClientConnectionManager.setDefaultMaxPerRoute(10);
    }

    //根据请求地址下载页面
    public String doGetHtml(String url){
        //获取httpclient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(poolingHttpClientConnectionManager).build();
        HttpGet httpGet = new HttpGet(url);
        httpGet = setJdHeader(httpGet);
        //设置请求信息
        httpGet.setConfig(getConfig());
        CloseableHttpResponse closeableHttpResponse = null;
        try {
            closeableHttpResponse = httpClient.execute(httpGet);
            //解析
            if (closeableHttpResponse.getStatusLine().getStatusCode() == 200){
                //判断响应体是否不为空
                if (closeableHttpResponse.getEntity() != null){
                    String content = EntityUtils.toString(closeableHttpResponse.getEntity(), "utf8");
                    return content;
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            if (closeableHttpResponse != null){
                try {
                    closeableHttpResponse.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return "";
    }

    //下载图片，返回图片名称
    public String doGetImage(String url){
        //获取httpclient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(poolingHttpClientConnectionManager).build();
        HttpGet httpGet = new HttpGet(url);
        httpGet = setJdHeader(httpGet);
        //设置请求信息
        httpGet.setConfig(getConfig());
        CloseableHttpResponse closeableHttpResponse = null;
        try {
            closeableHttpResponse = httpClient.execute(httpGet);
            //解析
            if (closeableHttpResponse.getStatusLine().getStatusCode() == 200){
                //判断响应体是否不为空
                if (closeableHttpResponse.getEntity() != null){
                   //下载图片
                    //获取图片的后缀
                    String ext = url.substring(url.lastIndexOf("."));
                    //创建图片名,重命名图片
                    String picName = UUID.randomUUID().toString()+ext;
                    //下载图片
                    //声明outputstream
                    File file;
                    OutputStream outputStream = new FileOutputStream(new File("E:\\学习\\文件夹\\自学系列\\spider\\OutPutPic\\"+picName));
                    closeableHttpResponse.getEntity().writeTo(outputStream);
                    //返回图片名称
                    return picName;
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            if (closeableHttpResponse != null){
                try {
                    closeableHttpResponse.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return "";
    }

    private RequestConfig getConfig(){
        RequestConfig config = RequestConfig.custom()
                .setConnectionRequestTimeout(500)   //获取连接的最长时间
                .setConnectTimeout(1000)    //创建连接的最长时间
                .setSocketTimeout(10000).build();
        return config;
    }

	//设置请求头
    private HttpGet setJdHeader(HttpGet httpGet){
        httpGet.setHeader(":authority", "search.jd.com");
        httpGet.setHeader(":method", "GET");
        httpGet.setHeader(":path", "s/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=14790f8e8aaa4ce198d044bff7af701e");
        httpGet.setHeader(":scheme", "https");
        httpGet.setHeader("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9");
        httpGet.setHeader("accept-encoding", "gzip, deflate, br");
        httpGet.setHeader("accept-language","zh-CN,zh;q=0.9");
        httpGet.setHeader("cache-control","no-cache");
        httpGet.setHeader("pragma","no-cache");
        httpGet.setHeader("referer","https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&suggest=1.his.0.0&wq=&pvid=d1daa37ee21e48a187842cccb7432d30");
        httpGet.setHeader("sec-fetch-dest","document");
        httpGet.setHeader("sec-fetch-mode","navigate");
        httpGet.setHeader("sec-fetch-site","same-origin");
        httpGet.setHeader("sec-fetch-user","?1");
        httpGet.setHeader("upgrade-insecure-requests","1");
        httpGet.setHeader("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36");
        return httpGet;
    }
}

10.定时任务类

@Component
public class ItemTask {

    @Autowired
    private HttpUtils httpUtils;

    @Autowired
    private ItemService itemService;

    private static final ObjectMapper objectMapper = new ObjectMapper();

    //下载任务完成后，间隔多长时间进行下一次任务（单位：毫秒）
    @Scheduled(fixedDelay = 100*1000)
    public void itemTask()throws Exception{
        //声明需要解析的初始地址
        String url = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&wq=%E6%89%8B%E6%9C%BA&s=61&click=0&page=";
        //按照页码对手机搜索结果进行解析
        for (int i=1; i<2; i+=2){
            String html = httpUtils.doGetHtml(url + i);
            parse(html);
        }
        System.out.println("手机数据抓取完成！");
    }

    private void parse(String html) throws JsonProcessingException {
        Document document = Jsoup.parse(html);
        Elements spuEles = document.select("div#J_goodsList > ul > li");
        for (Element spuEle:
             spuEles) {
            //获取spu
            long spu = Long.parseLong(spuEle.attr("data-spu"));
            //获取sku
            Elements skuEles = spuEle.select("li.ps-item");
            for (Element skuEle :
                    skuEles) {
                long sku = Long.parseLong(skuEle.select("[data-sku]").attr("data-sku"));
                //根据sku查询商品数据
                Item item = new Item();
                item.setSku(sku);
                List<Item> list = itemService.findAll(item);
                if (list.size()>0){
                    continue;
                }
                item.setSpu(spu);
                //获取商品详情url
                String itemUrl = "https://item.jd.com/" + sku +".html";
                item.setUrl(itemUrl);
                String src = "https:"+ skuEle.select("img[data-sku]").first().attr("data-lazy-img");
                src = src.replace("/n9/", "/n1/");
                String image = httpUtils.doGetImage(src);
                item.setPic(src);
                //获取商品价格
                String priceHtml = httpUtils.doGetHtml("https://p.3.cn/prices/mgets?skuIds=J_" + sku);
                double price = objectMapper.readTree(priceHtml).get(0).get("p").asDouble();
                item.setPrice(price);

                //获取标题
                String itemInfo = httpUtils.doGetHtml(item.getUrl());
                String text = Jsoup.parse(itemInfo).select("div.sku-name").text();
                item.setTitle(text);
                item.setCreated(new Date());
                item.setUpdated(item.getCreated());
                //保存到数据库
                itemService.save(item);
            }
        }
    }
}

11.结果

爬jd结果
爬jd手机图片

DFGOMC
关注
专栏目录
JFrame，JLabel和JButtenl的运用
Phosphenes的博客
04-28 605
运用JFrame，JLabel和JButten来制作出心仪的登录程序！ public class Chengxu { public static void main(String[] args) { //先创建一个窗口，不过此时创建的是隐藏的。 JFrame jf=new JFrame(); //再设置窗口大小，单位是像素。 jf.setSize(800,600); //再窗口的标题 ...
商品规格sku算法应用
热门推荐
by_ron的专栏
08-17 1万+
商品规格
Java爬取京东商品数据
QuietHRH的博客
09-21 6042
爬取京东商品数据 我把项目部署到了linux中,进行爬取,爬到了3000条手机信息,只是爬了一些简单的文本信息. 本文爬取的数据为京东手机信息 准备工作 导入爬取数据需要的依赖包 编写httpClient工具类 编写pojo类 编写dao &amp;amp;amp;lt;dependencies&amp;amp;amp;gt; &amp;amp;amp;lt;dependency&amp;amp;amp;g
JAVA爬取淘宝、京东、天猫以及苏宁商品详细数据（一）
入门程序猿的博客
12-10 4293
JAVA爬取某东、某宝以及某宁商品详细数据（一）写在最前反爬策略问题解决请求头配置无代理模式代理模式某东JDHTML解析JD商品解析天猫TMHTML解析苏宁SNHTML解析 写在最前      防止篇幅过长，对于如何爬取某东、某宝以及某宁的历史价格数据，会在下一篇博客中进行总结：https://blog.csdn.net/qq_40921561/article/details/110950930 反爬策略问题解决     某东、某宝以及某宁电商网站平台，对于爬虫还算比较友好，唯一的问题就是有些数据是动态加载
sku商品选择
前端踩坑之路
05-07 4673
需求（商城购物，规格的选择） 商品属性（多种）：尺寸，颜色，款式 存在的组合方式是确定的：即就是所存在的库存并且大于0的sku 思路：点击的时候，记录当前点击的值，遍历sku，当前点击的sku中的每个元素，合并去重，还等于当前本身，则该元素里的子规格都是可点击的，子规格的其他就说不可点击，置灰。再次点击，拿到已经点击过的值。重复上述操作。 主要有三组数据： 所有的主规格(去重）数组对象 ma...
Python爬虫入门案例
shaxu123的博客
01-11 335
（一）环境准备 1.python3 2.requests库 （二）测试案例 爬取百度上的网页信息 import requests as req r = req.get("http://www.baidu.com") r.encoding = "utf-8" r.text (三)运行结果 ...
python爬虫入门案例，持续更新
就很有趣的博客
10-21 7277
十一个python入门爬虫小案例前言爬虫案例聊天没有表情包被嘲讽，程序员直接用python爬取了十万张表情包python爬b站视频 人生苦短 我用pythonPython爬取美女图片 爬虫基础python爬取网易云评论 超简单教程python爬鱿鱼游戏的评价 看看鱿鱼游戏到底值不值得看 初识selenium学会这个，全网视频任你爬取，一分钟学会you-getpython爬取4k小姐姐图片 人生苦短 我用pythonts视频下载 准备下载视频的你确定不进来看看吗微博吃瓜总是晚一步才知道，程序员直接写了一个热搜
白看不如一练！分享10个Python爬虫入门案例
2301_78096295的博客
05-23 828
昨天带伙伴们学习python爬虫，准备了几个简单的入门实例，分享给大家。
python爬虫入门案例和库解读
01-07
这个入门案例和库解读将带你深入理解Python爬虫的基本原理和常用工具。以下是对这些主题的详细解析。 首先，Python之所以在爬虫领域备受青睐，是因为其语法简洁、库丰富以及强大的文本处理能力。在Python中，我们...
Python爬虫入门案例-爬取电影数据.zip
01-23
总结来说，Python爬虫入门的关键在于理解HTTP请求的工作方式、HTML文档的结构以及如何使用库来解析和提取数据。在这个案例中，我们学习了如何使用requests和BeautifulSoup来抓取和解析豆瓣电影网站的数据。这只是一...
Java爬虫入门案例
04-05
**Java爬虫入门案例** Java爬虫是一种使用Java编程语言编写的应用程序，它能够自动地从互联网上抓取信息并进行处理。这个入门案例提供了一个基础的Java爬虫项目，帮助初学者理解如何构建这样的系统。 ### 1. **...
本人博客python爬虫入门案例day09
08-10
供学习本人博客python爬虫入门案例day09使用
本人博客python爬虫入门案例day07
08-10
供学习本人博客python爬虫入门案例day07使用
Gateway集成knife4j多模块分组踩坑
DFGOMC的博客
08-02 6451
Gateway集成knife4j多模块分组踩坑 学习、踩坑、不断前进，记录一下 pom.xml 其他子模块 <dependency> <groupId>com.github.xiaoymin</groupId> <artifactId>knife4j-micro-spring-boot-starter</artifactId> <version>2.0.9</version> </depen
java实现简单验证码功能
DFGOMC的博客
02-02 2463
java实现简单验证码功能 作为一个java新手，最近学到了一个java实现验证码功能，以防忘记，特地在此记载。如果代码里有书写不规范的地方，欢迎指教。 效果图如下： 自定义工具类： public class DrawCheckcode { private String checkCode; public String getCheckCode() { ret...
Java基础复习一
DFGOMC的博客
12-19 309
Java基础复习-1 本文仅对学习过程中所缺java知识点的查缺补漏复习 合法标识符规则 由26个英文字母大小写，0-9，_或$组成 数字不可以开头 不可以使用关键字和保留字，但能包含关键字和保留字 Java中严格区分大小写，长度无限制 标识符不能包含空格 Java中名称命名规范 包名：多单词组成时所有字母都小写：xxxyyyzzz 类名、接口名：多单词组成时，所有单词的首字母大写：XxxYyyZzz 常量名、方法名：多单词组成时，第一个单词首字母小写，第二个单词开始每个单词首字母大写：xxxYy
Java基础复习-IO流
DFGOMC的博客
12-29 254
Java基础复习-IO流 本文仅对所学java知识的查缺补漏 File File类的使用 1.File类的一个对象，代表一个文件或一个文件目录（俗称：文件夹） 2.File类声明在java.io包下 3.路径分隔符与操作系统： window和DOS系统默认使用 \ 表示 UNIX和URL使用 / 表示 4.Java程序支持跨平台运行，因此路径分隔符要慎用 5.为了解决这个隐患，File类提供了一个常量： public static final String separato
Lambda表达式
DFGOMC的博客
10-25 244
Lambda表达式 本篇博客是学习过程的学习笔记 Lambda常用抽象接口 * java8 内置的四大核心函数式接口 * * Consumer<T>：消费型接口 * void accept(T t); * * Supplier<T>：供给型接口 * T get(); * * Function<T, R>：函数型接口 * R apply(T
Java POI实现excel导出
DFGOMC的博客
05-28 214
Java POI实现excel导出 一、依赖 <!-- excel导入导出 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.0.1</version> </dependency> <dependency> <groupI
python爬虫入门案例
最新发布
06-20
Python爬虫入门案例通常会从简单的网页抓取开始，比如获取HTML页面上的数据。这里我们可以用Python的requests库来发送HTTP请求，BeautifulSoup库来解析HTML内容。以下是一个基础的Python爬虫入门示例，用于抓取网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值