爬取17K小说网解决登录错误方案

神官在外太空骑羊驼

已于 2024-10-27 23:35:45 修改

阅读量653

点赞数 6

分类专栏： Python网络爬虫文章标签： python 网络爬虫

于 2024-10-21 00:22:02 首次发布

本文链接：https://blog.csdn.net/veritas2586/article/details/143101596

版权

Python网络爬虫专栏收录该内容

1 篇文章

订阅专栏

python爬虫中有一个案例是17k小说网（网址：我的书架 -17K小说网）；

前面的逻辑还是正常的：通过session进行第一次登录拿到cookie，然后再通过session携带cookie发起第二次请求拿到数据；

然后，问题来了：

{'status': {'code': 10103, 'msg': '用户登录信息错误'}}

想了半天决定去对比一下Cookie：

结果当中多出来一个accessToken，添加后就正常了

session.cookies.update("accessToken": "******")

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

神官在外太空骑羊驼

关注关注

6
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

[Python从零到壹] 十六.文本挖掘之词云热点与LDA主题分布分析万字详解

杨秀璋的专栏

08-10

1万+

前一篇文章讲述了数据预处理、Jieba分词和文本聚类知识，这篇文章可以说是文本挖掘和自然语言处理的入门文章。本文将详细讲解文本挖掘领域的词云热点分析和LDA主题分布分析。两万字基础文章，希望对您有所帮助。欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家。

AI大语言模型预训练数据准备：从原始数据到高质量语料库

AI天才研究院

03-06

1778

预训练语料库的质量直接影响语言模型的性能。一个理想的预训练语料库应该具备以下特点:规模大:拥有足够的数据量,通常在百GB到TB量级,可以全面覆盖语言的各种现象。领域广泛:包含不同体裁、主题、风格的文本,有助于模型学习语言的一般性规律。噪声低:数据的错误、重复、冗余等噪声尽量少,保证语料的可靠性。富任务相关性:与下游任务的领域、风格等特点接近,使模型能更好地适应具体任务。因此,优质的预训练语料库是大规模语言模型取得SOTA效果的基础。

3 条评论您还未登录，请先登录后发表或查看评论

python爬虫简单实例-爬取17K小说网小说

端木胥的博客

03-01

2714

什么是网络爬虫? 网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。爬虫流程先由urllib的request打开Url得到网页html文档浏览器打开网页源代码分析元素节点通过Beautiful Soup或者正则表达式提取想要的数据存储数据到本地磁盘或数据库（抓取，分析，存储）简单实例爬取17K小说网（https://www...

为什么用爬虫登录17k小说网返回405

最新发布

peng1436的博客

09-14

820

headers ={Win64;data = {

爬虫基础（案例：爬取17K小说个人书架信息）

qq_44805233的博客

10-30

1842

爬取思路： 1、进入17K官网，（先不要登录），然后点击书架，这时会弹出登录页面。 2、进行抓包，然后输入登录的账号密码（请勿使用第三方登录） 3、登录成功后，找到名称为login的包，这样就得到了登录的URL，Form data为请求时需要提交的信息。 4、使用post请求该URL，提交的信息data为Form data中的信息。 5、登录成功后，可以获得该URL的cookie信息，找到其中的accessToken 6、找到书架书籍所在的链接，使用get请求，请求头中要带有刚刚获取的accessToken

requests实战 -- 爬取17k免费小说

weixin_54104072的博客

11-05

1413

网站特色：动态cookie需要先注册：13585687903,135903yc网站分为免费小说和vip小说，vip小说只能开头vip才能爬取需要先将免费小说加入书架，然后进行爬取：步骤：模拟登陆爬取数据 -> 爬取章节 -> 爬取每本小说的完整内容。

爬取17k小说网的小说

weixin_39179620的博客

01-20

2337

最近在学习python爬虫，所以写了一个17K小说网爬取的脚本来做练习，分享一下 1.爬取的网页为http://all.17k.com/lib/book.html 小说分类页面的免费区的小说，付费vip的没有账号这事小说列表页这是小说说明页这是小说章节详情页这事小说的内容页因为小说网页为静态的页面，作为爬虫练习入门非常的简单了。我们倒着推先找到小说内容页的内容，通过xpath很简...

基于requests爬虫17k小说网站---py版本

2301_80068745的博客

04-21

977

首先-导入需要的模块 requests ---time---json----lxml 由于涉及到登录验证-所以我们考虑使用session方法-即session=requests.Session，在根据登录页面知道应该发送post请求所以是session.post(url,data) ,data在预览里可以看到所带的件和值，如果没有携带data 就无法拿到动态的cookie，就会被反扒机制识别出来是爬虫程序，其次UA和referver反爬也是必须要携带的。其次--结束登录验证环节-进入我们爬虫

17k小说下载爬虫实例

AnYeZhiYin

10-17

559

VIP章节不能下载其它都可以 import urllib.request import re from bs4 import BeautifulSoup as bs def urlopen(url): req = urllib.request.Request(url) req.add_header("User-Agent","Mozilla/5.0 (Win...

爬虫学习,尝试爬取小说网站

weixin_42389277的博客

09-20

411

初步学习了scrapy 尝试着爬取小说网站全部小说(发现没问题就停了) 以下为scrapy中基础爬虫的写法 # -*- coding: utf-8 -*- import scrapy from scrapy.shell import inspect_response #测试 import re from xiaoshuo.items import XiaoshuoItem class Ba...

python如何爬取网站数据并进行数据可视化

09-19

在安装或使用上述库的过程中可能会遇到问题，如安装失败、导入错误等，读者可以通过搜索引擎查找解决方案，确保使用正确的库版本。 #### 二、分析网页结构为了有效地爬取数据，首先需要了解目标网站——拉勾网...

python爬虫，智能爬取网站弹幕和评论，生成词云图，两种方法。

CBIhalsen的博客

03-28

4401

智能爬取网站弹幕和评论，生成词云图，两种方法，超简单，可打包，生成exe使用，可供教学使用。

Python11 使用爬虫实现图书250排行榜信息爬取

Argulo的博客

06-20

1229

1.什么是网络爬虫 Python爬虫是使用Python编程语言编写的程序，它能自动从互联网上抓取数据。这类程序一般利用网络请求来访问网站，解析网站的HTML或其他格式的内容，提取出有用的数据，有时还会进行后续的数据处理或存储。 Python爬虫的用途包括：数据收集：对于数据分析师和研究人员来说，爬虫可以帮助从各种网站上自动化收集数据，如社交媒体数据、金融市场数据、商品信息等。监控网站：爬虫可以用来监控网站的变化，比如价格变动、新闻更新、股票市场动态等，对于商业智能和市场分析尤

【Python3爬虫-爬小说】爬取某小说网小说1/2--利用网址顺序抓

User XXX Blog

11-13

1532

声明：爬虫为学习使用，请各位同学务必不要对当放网站或i服务器造成伤害。务必不要写死循环。 - 练习目标：爬取https://b.faloo.com/BuyBook.aspx?id=526024 《我的高中女友门》 - 解释请看代码注释：主要是网页是xxx/1.html，xxx/2.html这种数字递增的网页；小说内容在id=content这个地方。 from bs4 import ...

Python爬虫-爬取17K小说

06-26

741

随笔记录方便自己和同路人查阅。 #------------------------------------------------我是可耻的分割线------------------------------------------- 　这是一个爬取用户17k小说网站爬虫。 #------------------------------------------------我是可耻的...

1 爬取7K小说网用户书架信息

学编程的菜恐龙的博客

03-12

920

爬取7K小说网用户书架信息

CrawlSpider爬虫之爬取17k小说网列表详情及章节并放在一起（CrawlSpider翻页、MongoDB）

andux的专栏

10-17

1077

在使用mongo进行业务处理中，有时需要对文档（document）中的某个数组节点进行操作，这是下面要提到的 p u l l , pull, pull,push,$set操作。到此这篇关于MongoDB对数组进行增删改查操作的文章就介绍到这了,更多相关MongoDB对数组增删改查内容请搜索脚本之家以前的文章//$表示匹配到的第一个为EX1002的对象修改掉//如果想匹配多个值，可修改为$[]rules = (# 书名列表，获取第一本书的详情页信息。