Android爬虫(一)使用OkHttp+Jsoup实现网络爬虫

本文介绍了如何在Android平台上利用OkHttp进行网络请求,并结合Jsoup解析HTML,实现简单的网络爬虫。示例中,爬取了什么值得买网站的首页精选文章的标题、图片和简介,实体类Article用于存储爬取数据。注意Android的网络操作需在子线程执行。
摘要由CSDN通过智能技术生成

这几天写了一个Android上面简单的爬虫Demo
数据爬取完后通过RecyclerView展示,这篇文章先写爬取数据部分

这里我爬虫测试网站是:什么值得买

想要爬取的数据是首页的一些精选文章,主要爬取文章标题、图片、简介

在这里插入图片描述

这个是我爬到的数据
在这里插入图片描述
这里需要引用到Jsoup和OkHttp的jar包,我是下载下来,添加到项目工程当中
在这里插入图片描述
也可以直接在gradle文件当中配置

implementation 'org.jsoup:jsoup:1.11.3'
implementation 'com.squareup.okhttp3:okhttp:3.4.1'

然后就可以开始写代码爬虫啦

实体类Article.java

/*
 *@Author:Swallow
 *@Date:2019/3/21
 * 抓取到的文章数据封装
 */
public class Article {
    private String title;
    private String author;
    private String imgUrl;
    private String context;
    private String articleUrl;
    private String date;
    private String from;

//有几个属性还没用到,所以构造方法先用上这四个有爬取到数据的
    public Article(String title, String author, String imgUrl, String context) {
        this.title = title;
        this.author =
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值