C# 爬取小说

于 2024-08-09 19:34:41 发布
阅读量298 收藏 1
点赞数 5
文章标签： c#
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chujian_a/article/details/141069707
版权

项目功能简单介绍：
获取小说保存到本地
环境:

  • C#语言，
  • VS2022，
  • .net6.0，
  • Window 11，
  • 基于AntdUI框架

代码介绍：

  • AntdUI 页面类库
  • CrawlingNovels 主程序
    在这里插入图片描述
    实现思路：
    1.网上查询小说网址
    2.爬取主页面所有章节的HTML链接
    3.循环爬取HTML章节链接内容
    4.保存所有章节内容到text
    程序截图
    在这里插入图片描述
    代码链接
    1.Gitee
    2.https://gitee.com/lugangtian/crawling-novels.git

**视频演示

C# 爬取小说演示


**

承蒙_关照
关注
C# 爬取网页
积累
02-07 4079
C#爬小说 主要类：FileStream/StreamWriter/StreamReader/WebRequest/ HttpWebResponse
C# 网络爬虫 爬小说,图片代码有页面显示
weixin_43384802的博客
10-16 749
主页面 可以选择下载小说还是图片 可以添加要下载网站的信息 运行效果 代码有注释：https://download.csdn.net/download/weixin_43384802/10721773
C#从网站爬取小说
最新发布
网布的世界
04-12 1142
学习使用c#制作一个windows小程序在小说网站爬取小说。对于一些网络小说想要下下来却找不到下载的地方，只要能在线浏览的基本都可以通过分析后台的html来获取到内容。程序还有很多需要优化的地方，文章目的只是一个c#编程的练习，起到抛砖引玉的作用。
使用C#爬小说
weixin_30381793的博客
02-15 416
最近因朋友需要在研究如何从网站上爬小说，说到爬，很多人首先想到的是Python，但是因为没有用过Python，加上时程比较紧，就直接使用C#。 其原理也很简单，就是利用HttpWebRequest对象从网站获取HTML数据包再解析 HttpWebRequest httpReq = (HttpWebRequest)WebRequest.Create(httpURL); httpRe...
C#网络爬虫抓取小说
weixin_30662109的博客
09-07 321
心血来潮，想研究下爬虫，爬点小说。 通过百度选择了个小说网站，随便找了一本小书http://www.23us.so/files/article/html/13/13655/index.html 一、分析html规则 思路是获取小说章节目录，循环目录，抓取所有章节中的内容，拼到txt文本中。最后形成完本小说。 1、获取小说章节目录 通过分析，我在标注的地方获取小说...
c#实现爬虫获取小说(.NET)
jsxiaochen的博客
09-09 1616
现在市面上大部分都是PYthon 做的爬虫，这里另辟蹊径用一下c# 本文获取的网站是：https://www.bqktxt.com 有更好的方法欢迎大佬指点 好了！开始吧！ 首先创建一个winfrom窗体应用，并画出窗体 用到的组件有：Lable,textbox,button,linklable,progressBar 各位注意区别 2. 创建一个接收类(用于传参) 检测URL按钮代码 这一步的主要作用是把网页的所有结构下载下来然后进行拆解，得到自己想要的部分。 我这里获取了"章节标题.
写爬虫，只是为了下小说
github_30830155的博客
12-17 759
整体思路 spider 大概兴趣是第一生产力吧 网上找的小说现成的txt排版都有问题，缺少章节，不过一些盗版网站章节倒是挺全 本来想着是找到index页，爬取所有章节连接，然后拼接成网址，再进行细节爬取，但是搞了一下发现不知道怎么弄 所以后来就变成了直接从第一章节开始爬，找到标题和正文，用xpath就可以了，然后找到下一章的地址 看着网上一个博客，用的 yield ，我的理解就是一个循
C# 小说爬取 主流小说网站 支持自定义爬取方式
08-29
C# 小说爬取 主流小说网站 支持自定义爬取方式
C#爬虫基础 分析网页写一个爬去网络小说的程序（付完整代码）-附件资源
03-05
C#爬虫基础 分析网页写一个爬去网络小说的程序（付完整代码）-附件资源
C#实现简单小说阅读器
sww54088的专栏
03-24 5786
使用C#实现的简单小说阅读器    public partial class Form1 : Form     {         public Form1()         {             InitializeComponent();         }         private void Form1_Load(object sender, EventArgs
五分钟写一个小爬虫，爬取小说并写入txt文件
Xylon的博客
07-22 8460
先上代码： #-*- coding:UTF-8 -*- import requests from lxml import html url='http://www.shuge.net/html/111/111781/6593021.html' #需要爬数据的网址 tree=html.fromstring(page.text) result=tree.xpath('//div[@class="b...
C# 爬虫 抓取小说
huohuotu的博客
09-06 2186
心血来潮，想研究下爬虫，爬点小说。 通过百度选择了个小说网站，随便找了一本小说http://www.23us.so/files/article/html/13/13655/index.html。 1、分析html规则 思路是获取小说章节目录，循环目录，抓取所有章节中的内容，拼到txt文本中。最后形成完本小说。 1、获取小说章节目录 通过分析，我在标注的地方获取小说名字及章节目录。
C# 爬取ajax后的页面数据
06-13
如果您想在 C# 中爬取 Ajax 后的页面数据，可以使用 HttpClient 类，以及 Newtonsoft.Json 库来处理返回的 JSON 数据。 以下是一个简单的示例代码，可以帮助您实现这个功能： ```csharp using System; using System.Net.Http; using Newtonsoft.Json; class Program { static async System.Threading.Tasks.Task Main(string[] args) { using (HttpClient client = new HttpClient()) { var url = "https://example.com/api/getdata"; var data = new FormUrlEncodedContent(new[] { new KeyValuePair<string, string>("param1", "value1"), new KeyValuePair<string, string>("param2", "value2"), // 添加需要传递的参数 }); var response = await client.PostAsync(url, data); var content = await response.Content.ReadAsStringAsync(); dynamic result = JsonConvert.DeserializeObject(content); // 处理返回的 JSON 数据 } } } ``` 在上面的代码中，我们使用 HttpClient 发送 POST 请求，并传递需要的参数。然后，我们通过读取响应内容，获取返回的 JSON 数据，并使用 Newtonsoft.Json 库将其转换为动态类型的对象，以便后续处理。 请注意，使用爬虫程序爬取网站数据需要遵守相关法律法规和网站的规定，否则可能会造成不良后果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值