rust提取网页中的链接

最新推荐文章于 2024-06-20 16:11:11 发布

飞鸟malred

最新推荐文章于 2024-06-20 16:11:11 发布

阅读量111

点赞数

分类专栏： rust 文章标签： rust 开发语言后端

本文链接：https://blog.csdn.net/m0_60707623/article/details/130896703

版权

rust 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

该篇文章演示了一个用Rust编写的程序，它依赖于reqwest库抓取网页内容，然后利用select库解析HTML，提取出所有a标签的href属性，从而获取网页中的链接。程序在Tokio运行环境中执行，具有异步处理能力。

摘要由CSDN通过智能技术生成

前言

获取某个网页中的链接, 只需要得到网页中所有a标签的href属性

依赖(Cargo.toml)

[package]
name = "links-extrack"
version = "0.1.0"
edition = "2021"

# See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html

[dependencies]
error-chain = "0.12.4"
reqwest = "0.11.12"
select = "0.5.0"
tokio = { version = "1.21.2", features = ["full"] }

代码

use error_chain::error_chain;
use select::document::Document;
use select::predicate::Name;
// 错误处理
error_chain! {
    foreign_links{
        Reqerror(reqwest::Error);
        IoError(std::io::Error);
    }
}
#[tokio::main]
async fn main()->Result<()> {
    let res= reqwest::get("http://www.rust-lang.org/zh-CN/")
        .await?
        .text() // 获取文本
        .await?;
    Document::from(res.as_str())
        // 找到a标签
        .find(Name("a"))
        // 过滤得到带href属性的
        .filter_map(|n| n.attr("href"))
        .for_each(|x| println!("{}", x));
    Ok(())
}