python爬虫抓取晋江网一篇小说

最新推荐文章于 2023-06-05 16:56:21 发布
VIP文章 最新推荐文章于 2023-06-05 16:56:21 发布
阅读量1.2w 收藏 42
点赞数 7
分类专栏： python爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gavin_chen929/article/details/53859231
版权

这几天学了python的requests库和BeautifulSoup,闲来爬取晋江网一篇小说。

1.过程分析：

这里写图片描述

（1）获取全部免费章节的标题和链接（前23章），后面的章节是vip收费，没有账号充值无法爬取
（2）进入每章的链接爬取小说正文
其实爬取得思路比较简单，稍微复杂的是小说正文的正则匹配

2.代码实现：
# coding: utf-8

import requests
from bs4 import BeautifulSoup as bs
import re

start_url = "http://www.jjwxc.net/onebook.php?novelid=1857985"
最低0.47元/天 解锁文章
Gavin_CHEN929
关注
  • 7
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
python爬虫抓取易车网汽车品牌
01-12
python爬虫抓取易车网汽车品牌，基于python3，使用urllib.request库，支持抓取json和xml，json支持模拟http头部，xml需要转为“utf-8”。抓取信息后，解析json，并保存。
python爬虫可以爬付费小说章节吗_从网站上爬取小说遇到的问题，以长安十二时辰为例——Python爬虫...
weixin_39557797的博客
02-21 9471
电视剧更新太慢，就在网上找了下原著看。一、准备工作就点击了第一个结果。看到了浏览器地址栏的网址，要养成一个习惯，确认是否是真实的网址。点击右键检查(Chrome浏览器)，Network—>Doc—>Name(找到网址后面相同的名字)—>Headers—>General：里面的Request URL是和浏览器地址栏的一致，我们也知道了Request Method 的方法是GE...
python爬虫之批量下载小说
qq_46292926的博客
03-23 1955
前面练习了爬取单页的小说内容，之后又练习了提取整部小说的内容： 可参考： 一部小说爬取 继上次之后想试试批量爬取小说，想就接着干，找到目标网页的地址： 页面显示如下： 然后打开开发者工具，发现内容也都在相应体中，那提取数据就十分简单了， 页面的跳转的地址也很容易提取： 一段简单的代码实现跳转页面地址的提取，提取出来的地址少了协议，列表推导式完成地址的拼接： 跳转之后竟然没有直接到详情页，跳...
【零基础学爬虫】学Python的第一周，自己编写用Python爬取vip小说付费章节，实现小说自由！
python03011的博客
06-05 4970
【零基础学爬虫】学Python的第一周，自己编写用Python爬取vip小说付费章节，实现小说自由！
python爬取晋江文学城小说名、章节内容、作者、简介_爬虫爬取晋江文学网总分榜（失败）...
weixin_39915505的博客
12-11 1764
一、目的 ：爬取晋江文学网总分榜二、python爬取数据三、爬取在最先多泛起了38号而且顺序内容不准确代码：import requestsfrom bs4 import BeautifulSoupimport bs4url=”http://www.jjwxc.net/topten.php?orderstr=7&t=0″def getHtml(url):r=requests.get(url)...
scrapy爬取晋江免费小说（章节）+ cookie爬vip章节
热门推荐
mt233的博客
02-09 2万+
思路：先打开晋江任意一篇小说的第一章，然后爬取该章节的名字、内容，以及该小说的名字，下一章节的链接；利用下一章节的链接实现重复的爬取，其中章节的名字、内容、小说名字存储在item字典中；最后将爬取到的内容进行整理写入txt文件。 其实也可以在目录页提取各个章节的链接进行爬取，实现的是前一种方法。 1.创建项目 创建Scrapy项目，在shell中使用scrapy startproject命令： s...
python爬虫实践--晋江小说书籍分析
qq_45886782的博客
03-12 1万+
python@ljr 初心：寒假在家看小说，看着看着想自己写，然后申了几次没过，打算把榜单文章拿来好好分析一下，做个高大上的词云看看方向什么的。 但我不会爬虫，只听说过，就上网搜别人的代码，但是别人的代码不满足我的需求，我看不懂也改不了。 python爬虫实践 凭着一口我也是程序人的志气（主要恰好学了python），自己去搜了怎么写爬虫，把视频看了一遍，过了下大概思路，然后看第二遍，注意一些细节，跟着一步一步地做自己的（主要是用他的思路和跟着写一点语句），最后就把晋江上我需要的数据搞出来了。（默默夸一句，b
python晋江文学城数据分析（一）——爬虫（BeautifulSoup正则）
kpl_22b的博客
04-06 4356
回忆性文章，其实过程中遇到过很多问题和困难，但暂时只想起这些了。待改善的地方：1）爬取太慢，爬取250页花费近10个小时，看网上有多进程、多线程可以加快爬虫时间，之后有时间当学习改进；2）正则表达式不够精确，部分详情页爬取出来不是目的数据，因为错误的数据量不多，后续数据处理采取了直接删除的办法，之后可以在爬虫阶段尝试改进；
基于网络爬虫和SpringBoot框架的晋江文学小说小型网站项目
weixin_45890771的博客
04-27 1469
基于网络爬虫和SpringBoot框架的晋江文学小说小型网站项目
python使用requests和lxml爬取晋江小说的免费章节
weixin_42292586的博客
07-20 3347
使用python的reques和lxml中的etree，xpath的方式爬取晋江文学上的小说免费章节，最后合成txt文档
Python爬虫抓取2017-2019年上海天气数据
08-17
Python爬取2345天气网中2017-2019年上海天气数据，日常练习用案例，附完整源代码及爬取数据结果
Python网络数据爬虫抓取代码
04-13
Python网络数据抓取代码主要涉及Python爬虫技术，可以用于自动化采集网络上的数据，如网页内容、图片、视频、音频等。这些数据可以用于数据分析、机器学习、自然语言处理等多个领域。 适用人群： Python网络数据抓取代码适用于具有一定Python编程基础和网络基础知识的人群，包括数据分析师、数据科学家、机器学习工程师、自然语言处理工程师、Web开发工程师等。 使用场景： Python网络数据抓取代码可以用于自动化采集数据，包括网站内容、电商产品信息、股票行情、新闻报道等，也可以用于建立垂直搜索引擎、舆情监测、市场调研、信息挖掘等多个领域。 其他说明： Python网络数据抓取代码需要遵守网络爬虫法律法规，不能对数据进行商业用途。此外，为了防止对目标网站造成过大的流量压力，建议使用数据抓取框架或限制爬取频率。同时，网络数据抓取也需要遵守网络伦理和道德规范，不得侵犯他人隐私和知识产权。
81个Python爬虫源代码
12-13
81个Python爬虫源代码，内容包含新闻、视频、中介、招聘、图片资源等网站的爬虫资源
Python爬虫抓取小说网站的基本方法
04-19
Python爬虫教程，采用BeautifulSoup技术，爬取相关的网址，摘取小说，然后保存到本地存储。同类方法还有Scrapy等等，这里做了一个简单的示范 爬取某著名小说网站的一章资源，然后存储到本地的MySQL库中，
Scrapy框架爬取京东商品
Gavin_CHEN929的博客
12-13 3839
这是上的第二节爬虫课程的课后作业：抓取京东某类商品的信息，这里我选择了手机品类。 使用scrapy爬虫框架，需要编写和设置的文件主要有phone.py , pipelines.py , items.py , settings.py , 其中主要编写的是前两个文件，最后一个文件主要设置破解反爬方法。 phone.py编写程序如下： import scrapy from sc
Scrapy框架爬取昵图网图片
Gavin_CHEN929的博客
11-20 3380
这是第一篇博文，小白学习Python快一个月。从上周开始学习CSDN的韦玮老师的《Python大型网络爬虫实战课》。第一节课讲授大型图片网站的图片爬取，老师以千图网为例，讲解基于Scrapy爬取一般图片网站的流程和方法。 Scrapy 图片爬虫构建思路为： 1. 分析网站 2. 选择爬取方式和策略 3. 创建爬虫项目--》定义items 4. 编写爬虫文件 5. 调试pipelines
scrapy爬取豆瓣TOP250电影
Gavin_CHEN929的博客
02-22 1844
1.思路分析1.1网页关系分析 上图红框内是第一页网址 第一页网址：https://movie.douban.com/top250?start=0 第二页网址：https://movie.douban.com/top250?start=25 … 第十页网址：https://movie.douban.com/top250?start=225 可以看出存在规律，实际就是每页展示25部电影。1
py爬取历史天气并存入D盘历史天气csv文件
最新发布
06-09
可以使用 Python 的 requests、BeautifulSoup 和 pandas 库来爬取历史天气数据，并将数据存储到 CSV 文件中。以下是一个简单的例子： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 获取历史天气页面的 HTML url = 'http://www.tianqihoubao.com/lishi/beijing.html' response = requests.get(url) html = response.content.decode('gbk') # 解析 HTML，获取历史天气数据 soup = BeautifulSoup(html, 'html.parser') table = soup.find_all('table')[0] trs = table.find_all('tr')[1:] # 将历史天气数据存储到 DataFrame 中 data = [] for tr in trs: tds = tr.find_all('td') date = tds[0].text.strip() weather = tds[1].text.strip() temperature = tds[2].text.strip() wind = tds[3].text.strip() data.append({'date': date, 'weather': weather, 'temperature': temperature, 'wind': wind}) df = pd.DataFrame(data) # 将 DataFrame 存储到 CSV 文件中 df.to_csv('D:/historical_weather.csv', index=False) ``` 这个例子中，我们以北京市为例，使用 requests 库获取历史天气页面的 HTML，然后使用 BeautifulSoup 库解析 HTML，获取历史天气数据，并将数据存储到 DataFrame 中。最后，我们使用 pandas 库将 DataFrame 存储到 CSV 文件中，文件路径为 D:/historical_weather.csv。你可以根据自己的需求，替换 URL 和解析代码中的表格元素，来获取其他城市和更多的天气数据，并将数据存储到不同的文件中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值