java爬虫实战--1.爬取天气和图片链接

最新推荐文章于 2024-05-26 11:12:40 发布
最新推荐文章于 2024-05-26 11:12:40 发布
阅读量1.4k 收藏
点赞数
分类专栏： http java 文章标签： 爬虫 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jjhnb123/article/details/133831702
版权
java 同时被 2 个专栏收录
5 篇文章 0 订阅
订阅专栏
http
2 篇文章 0 订阅
订阅专栏

一.前言

在上一篇中我们学习了Jsoup，下面我们来实践一下，爬取一下天气信息和图片链接

二.爬取天气

我们要爬取的网站是中国天气网天气网，通过分析可以知道，它是每一个城市对应一个编码，然后查询的时候在get请求中拼接编码信息，下面我们以新乡为例，新乡的编码为：

101180301

我们可以先把所有的城市信息和对应编码信息放在一个字符串数组里，然后通过我们的输入来遍历该数组找到对应的编码，去拼接字符串

我们可以看到中国天气网中天气的信息：

我们要的就是这一部分，我们查看该部分：

城市和对应编码的信息我放在CSDN的资源目录里了，有需要的可以去下载，下面我们以新乡来演示一下：

1.创建城市常量类

public class WeatherConsts {
    /**
     * 所有城市的天气代号
     */
    public static final String[] ALL_CITIES = {
            "海淀","101010200",
            "朝阳","101010300",
            "顺义","101010400",
            "怀柔","101010500",
            ............
            ............
}

2.创建天气工具类

public class WeatherUtils {


    public static String getWeather(String city){

        String code = null;
        //找到城市对应的编码

            for (int i = 0; i < WeatherConsts.ALL_CITIES.length; i += 2) {
                if (WeatherConsts.ALL_CITIES[i].equals(city)) {
                    code = WeatherConsts.ALL_CITIES[i + 1];
                    String res = toGetWeather(code, city);
                    return  res;
                }
            }

            return "没有该城市信息！";

    }


    private static String toGetWeather(String code,String city){
        //构建请求路径
        String url = "http://www.weather.com.cn/weather/" + code + ".shtml";

        Document document = null;
        //发送请求
        try {
            document = Jsoup.parse(new URL(url),3000);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
        //获取<div id="7d"/> 的部分
        Element element = document.getElementById("7d");

        //获取ul
        Elements ul = element.getElementsByClass("t clearfix");
        //获取ul下的lis
        Elements lis = ul.select("li");



        StringBuilder sb = new StringBuilder();


        for (Element li : lis) {

            //获取日期
            String date = li.getElementsByTag("h1").text();
            //获取天气
            String weather = li.getElementsByClass("wea").eq(0).text();
            //获取温度
            String temperature = li.getElementsByClass("tem").eq(0).text().replace("/","~");
            //获取风向
            String wind = li.select("span[title]").attr("title");
            //获取风速级别
            String windGrade = li.getElementsByClass("win").eq(0).text();
            //拼接字符串
            sb.append(date).append(": ").append(weather).append(": ").append(temperature).append(": ")
                    .append(wind).append(": ").append(windGrade).append("\r\n");
        }

        return city+"天气如下:\r\n"+sb;
    }
}

注意：我们要拼接的链接为：

http://www.weather.com.cn/weather/101180301.shtml

3.运行程序

  public static void main(String[] args) {

        String weather = WeatherUtils.getWeather("新乡");

        System.out.println(weather);

    }

查看运行结果：

新乡天气如下:
14日（今天）: 晴: 13℃: 西风: 3-4级
15日（明天）: 晴: 27℃~13℃: 西风: <3级转3-4级
16日（后天）: 晴: 23℃~12℃: 东北风: 3-4级转<3级
17日（周二）: 阴转小雨: 25℃~14℃: 南风: 3-4级转<3级
18日（周三）: 小雨: 20℃~15℃: 南风: <3级转3-4级
19日（周四）: 多云转晴: 22℃~13℃: 东北风: 3-4级
20日（周五）: 晴: 20℃~8℃: 西南风: <3级转3-4级


进程已结束,退出代码0

成功获取到了天气信息！ 

三.爬取图片链接

下面我们再来爬取一下图片的链接：

我们以该网站为爬取目标：柠檬皮时尚资讯|汇集来自互联网的美女图片和时尚新闻资讯 | 柠檬皮美女资讯站

我们要爬取的是分类为丝袜的美女图片，我们先来看一下：

 该分类链接为：

https://www.cybesx.com/siwa/

 我们先看一下页面结构：

 主页面相当于是每个文章的a链接，然后点一个才能进去看到具体的内容，

该主页面的结构为：

 我们可以看到h2对应有该文章的标题，以及该文章的页面链接

然后我们点进去一个具体的文章页面：

 可以看到，该页面所有的图片都为一个一个<p>标签，然后p标签中有图片的链接，我们要爬的就是该链接

下面，我们来分析一下：

2.ImgUtils类

我们可以通过Map<String,List<String>>的集合来存放，键为文章的标题，值为每个文章中的图片链接集合，以下是java代码：

public class ImgUtils {

    //从https://www.cybesx.com/siwa/上爬


    public static Map<String, List<String>> getGirlsImages() throws IOException {

        Map<String,List<String>> imgMap = new HashMap<>();



        String url = "https://www.cybesx.com/siwa/";

        Document document = null;

        try {
            document = Jsoup.parse(new URL(url), 3000);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }


        Elements articles = document.getElementsByTag("article");

        for (Element article : articles) {
            //获取美女的标题
            Elements h2 = article.select("h2");
            String title = h2.eq(0).text();
            String href = h2.select("a").attr("href");


            Document subDoc = Jsoup.parse(new URL(href), 3000);

            Elements imgs = subDoc.select("img[decoding]");

            List<String> subImgList = new ArrayList<>();

            for (Element img : imgs) {
                String src = img.attr("src");
                subImgList.add(src);
            }

            imgMap.put(title,subImgList);
        }

        return imgMap;

    }

 

3.运行程序

 public static void main(String[] args) throws IOException {
        Map<String, List<String>> imgMap = ImgUtils.getGirlsImages();

        imgMap.forEach((title,list)->{

            StringBuilder sb = new StringBuilder();
            sb.append("标题：").append(title).append("\r\n");

            for (String src : list) {
                sb.append(src).append("\r\n");
            }

            System.out.println(sb);
        });

 查看结果：

标题：秀人网 No.5763 利世
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-1.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-2.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-3.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-4.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-5.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-6.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-7.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-8.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5763-利世-9.jpg

标题：秀人网 No.5779 果儿
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-1.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-2.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-3.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-4.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-5.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-6.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-7.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-8.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.5779-果儿-9.jpg

标题：Sayuri Ono Swim Suit

标题：丝社 可儿的肉丝袜

标题：语画界 Vol.1103 王馨瑶
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-1.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-2.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-3.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-4.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-5.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-6.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-7.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-8.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-9.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-10.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-11.jpg
https://pic.mfpimg.com/img/2023/08/XIAOYU语画界性感模特写真Vol.1103-王馨瑶-12.jpg

标题：星颜社 Vol.182 潘娇娇
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-1.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-2.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-3.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-4.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-5.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-6.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-7.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-8.jpg
https://pic.mfpimg.com/img/2023/08/XINGYAN星颜社美女模特写真Vol.182-潘娇娇-9.jpg

标题：异思趣向 美子街头丽人
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-0.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-001.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-01.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-2.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-3.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-4.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-5.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-6.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-7.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-8.jpg
https://pic.mfpimg.com/img/2023/08/IESS异思趣向腿模丝袜美足写真美子街头丽人-9.jpg

标题：秀人网 No.7317 徐莉芝
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-1.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-2.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-3.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-4.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-5.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-6.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-7.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-8.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-9.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-10.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-11.jpg
https://pic.mfpimg.com/img/2023/08/XIUREN秀人网美媛馆美女模特写真No.7317-徐莉芝-12.jpg

等等............

4.补充内容

1.读者可以再次基础上，爬取不同的分类，例如cosplay,写真等，

2.然后可以实现一个分页功能，查询出来更多的图片链接

3.可以将这些图片链接存入数据库，来搭建自己的图片网站

感谢阅读，我们下期再见！

可爱的鸡仔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java实现抓取相应地区中央天气预报
过往记忆大数据
08-11 2万+
先上图：程序一开始运行默认的是显示本地的天气（界面好难看咯）当获取本地地址失败的时候，程序默认显示北京的天气，可以在上面的下拉列表里面选择相应的城市来获取相应城市的天气。全国各地区都是有编码的，所以当你在下拉列表里面选择相关的地方时，程序将会得到相关地区的编码，然后根据编码组成相应的URL地址，以这个URL地址获取到相关的天气信息。当然中央天气网站提供了一个API供我们调用，如下 h
java 天气爬虫_java爬虫----关于java通过urlConnection爬取天气信息
weixin_33204101的博客
02-15 241
这里主要用到了java的网络知识点，其中包括通过url获取connetion,利用connection来伪装浏览器发送http请求向服务器，设置http的包头来进行伪装，通过connection的getInPutstream的流来获取流对象，之后就不用再说了，你可以将文件写到本地的硬盘上，同样也可以对xml文件进行解析，获取value，通过加工输出到控制台上。package com.yuzhi.d...
纯JAVA中国天气网天气预报抓取解析存MYSQL程序（原创）
11-30
将中国天气网近六天（因为有些城市提供的接口只有五天数据，所以我暂时取5天，程序里依然是六天的标准）的天气情况抓取，用JSON解析，存入数据库，数据库是两张表，城市表和天气表。程序可以运行，两个表都能读入数据，城市表大致读入了423行数据，天气表大致读入了1800行数据。程序的缺点在于，暂时还没写注释，面向对象还未体现，没有实现每天定时抓取的性能，需要人工每天手动运行程序抓取数据。。。。。
使用Java和XxlCrawler获取各城市月度天气情况实践
最新发布
夜郎King的博客
05-26 3768
本文主要讲解使用Java开发语言，使用XxlCrawler框架进行智能的某城市月度天气抓取实践开发。文章首先介绍目标网站的相关页面及目标数据的元素，然后讲解在信息获取过程的一些参数配置以及问题应对，最后结合实际代码实际抓取一个城市（以长沙为例）某月度天气数据。通过本文，您可以更加了解XxlCrawler的具体使用，知道如何解决页面返回慢的情况下如何通过超时参数来控制数据返回的问题，如果您是气象人，需要气象数据，则可以通过本文来获取想研究的地域的历史天气数据。
python爬虫入门实战---------一周天气预报爬取_每天一个爬虫练习，爬取天气数据，适合新手...
weixin_39603217的博客
11-26 171
importrequestsfrom bs4 importBeautifulSoupimportpandas as pdimporttimedefget_data(url):resp=requests.get(url)html= resp.content.decode('gbk')soup= BeautifulSoup(html, 'html.parser')tr_list= soup.find_...
JAVA利用jsoup爬取今日天气预报信息
洛阳泰山的博客
07-27 2713
代码如下： import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.select.Elements; public class Weather { /** * * @param url 访问路径 * @return */ public Document getDocument (Stri..
Java实现简单爬虫爬取天气预报
下个路口见_20的专栏
12-07 5642
Java实现简单爬虫爬取天气预报
java爬虫实战项目源码
02-01
Java爬虫实战项目源码是针对有一定编程基础的开发者设计的学习资源，主要涵盖了Java语言在爬虫领域的应用。这个项目提供了完整的源代码，允许用户自行导入到编译工具中进行运行，以加深对爬虫技术的理解和实践。下面...
java爬虫项目实战源码 爬虫源码下载 赠送源码.zip
05-09
Java爬虫项目实战源码是学习和开发网络爬虫的重要资源，它可以帮助开发者深入理解爬虫的工作原理，提升编程技能，特别是对于Java编程语言的使用者。在这个压缩包中，我们很可能会找到一系列的Java源代码文件，它们...
Java毕业设计-[搜索链接]Java网络爬虫(蜘蛛)源码_zhizhu.rar
03-22
Java爬虫需要处理这些情况，例如使用代理IP池、模拟浏览器行为等。 - **深度优先与广度优先**：两种常见的爬取策略，前者先深入某一路径，后者先遍历所有节点再深入。 - **网页解析库的选择**：根据需求选择合适的...
基于java爬取网络图片并且保存到本地
06-06
首先，我们需要了解Java爬虫的基础。这通常涉及以下几个关键概念： 1. **HTTP请求**：Java中的`HttpURLConnection`或第三方库如`Apache HttpClient`和`OkHttp`可以用来发送HTTP请求到目标网站，获取网页的HTML内容...
java天气爬虫
02-01
java天气爬虫 springboot打造天气爬虫 天气api 天气爬虫
java获取中国各地天气获取demo
10-31
java获取中国各地天气情况，以及包含数据库文件的城市编号，作者已填写，可直接拿来使用
Java网络天气预报程序.rar
07-10
Java网络天气预报程序，一个天气软件,提供未来5天的天气预报同时提供当天的生活小提示。首次运行会产生一个 city.txt 的UTF编码文件纪录城市信息。软件无需安装。可以在任何支持jre 1.6 以上的环境中运行。这个软件一是因为练手（小生正在学习中），二来，我喜欢简单好用的东西，比方菜刀就是菜刀，开山刀就是开山刀，反正瑞士军刀做这两件事都不好使，哈哈。
HttpClient Jsoup爬取天气预报
04-14
NULL 博文链接：https://xdjava.iteye.com/blog/1743031
基于python的爬虫+数据分析实战项目.zip
02-05
- 3、使用 Selenium 自动爬取斗鱼直播间的数据，包括直播间 图片、详情链接、标题、分类、热度、主播等 - 4、Kaggle上的一个经典比赛项目：泰坦尼克号生存预测。 在这里，要求你完成对哪些人可能生存的分析，特别是...
java爬取网页数据_java爬取网页内容 简单例子（1）——使用正则表达式
weixin_39808893的博客
02-12 429
【本文介绍】爬取别人网页上的内容，听上似乎很有趣的样子，只要几步，就可以获取到力所不能及的东西，例如呢？例如天气预报，总不能自己拿着仪器去测吧！当然，要获取天气预报还是用webService好。这里只是举个例子。话不多说了，上看看效果吧。【效果】从图中可用看出，今天(6日)的天气。我们就以这个为例，获取今天的天气吧！最终后台打印出：今天:6日天气：雷阵雨温度：26°~34°风力：微风【思路】1、通...
java简述类加载过程，重难点整理
qq194582923的博客
07-21 153
一、基础知识 比较简单的一些基础入门： 二、微服务构建：Spring boot 三、服务治理：Spring Cloud Euraka 四、客户端负载均衡：Spring Cloud Ribbon 五、服务器容错保护：Spring Cloud Hystrix 六、声明式服务调用：Spring Cloud Feign 七、API网关服务：Spring Cloud Zuul 八、分布式配置中心：Spring Cloud Config 九、消息总件：Spring Cloud Bus 十、消息驱动的微
java爬虫视频_java爬虫，爬取网址、爬取视频、爬取图片
06-10
好的，关于Java爬虫爬取网址、视频和图片，可以使用Jsoup和HttpClient等工具库来实现。以下是大致的实现步骤： 1. 爬取网址：使用HttpClient发送GET请求获取网页源代码，然后使用Jsoup解析得到需要的链接。 2. 爬取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值