这几天写了一个Android上面简单的爬虫Demo
数据爬取完后通过RecyclerView展示,这篇文章先写爬取数据部分
这里我爬虫测试网站是:什么值得买
想要爬取的数据是首页的一些精选文章,主要爬取文章标题、图片、简介
这个是我爬到的数据
这里需要引用到Jsoup和OkHttp的jar包,我是下载下来,添加到项目工程当中
也可以直接在gradle文件当中配置
implementation 'org.jsoup:jsoup:1.11.3'
implementation 'com.squareup.okhttp3:okhttp:3.4.1'
然后就可以开始写代码爬虫啦
实体类Article.java
/*
*@Author:Swallow
*@Date:2019/3/21
* 抓取到的文章数据封装
*/
public class Article {
private String title;
private String author;
private String imgUrl;
private String context;
private String articleUrl;
private String date;
private String from;
//有几个属性还没用到,所以构造方法先用上这四个有爬取到数据的
public Article(String title, String author, String imgUrl, String context) {
this.title = title;
this.author =