python爬虫的一些简单尝试

最新推荐文章于 2022-03-09 11:39:25 发布
最新推荐文章于 2022-03-09 11:39:25 发布
阅读量241 收藏 1
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32795135/article/details/79341343
版权
本文介绍了使用Python进行网络爬虫的实践，包括获取B站番剧列表和统计B站在线人数两个部分。通过运行代码，展示了爬虫的基本流程与数据获取效果。
摘要由CSDN通过智能技术生成

①获取B站番剧列表

#-*- coding: UTF-8 -*-
import requests
import json
import openpyxl
wb=openpyxl.Workbook()
sheet=wb.get_active_sheet()
sheet['A1']='season_id'
sheet['B1']='title'
sheet['C1']='total_count'
sheet['D1']='favorites'
index=2
for i in range(1,10):
    url='https://bangumi.bilibili.com/web_api/season/index_global?page={}&page_size=20&version=0&is_finish=0&start_year=2017&tag_id=&index_type=1&index_sort=0&quarter=0'.format(i)
    res= requests.get(url)
    content=res.content
    myjson=json.loads(content)
    for j in range(len(myjson['result']['list'])):
            sheet['A{}'.format(index)] = myjson['result']['list'][j]['season_id']
            sheet['B{}'.format(index)] = myjson['result
最低0.47元/天 解锁文章
煌可爱蛋
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python简单爬虫代码【自学尝试】
03-27
在这个"python简单爬虫代码【自学尝试】"中，我们将探讨Python爬虫的基础知识，以及如何通过Python编写一个简单的网络爬虫。 首先，Python中的爬虫主要依赖于一些第三方库，如BeautifulSoup、requests和Scrapy等。`...
Scrapy实例：爬取B站所有动漫番剧信息(Ajax接口+json数据解析)
Trial & Error
02-13 2642
。。闲来无事，爬了一下我最爱的B站~~~卒 首先进入B站的番剧索引页 ps：以前经常浏览这个索引页找动漫看，所以熟练的操作~滑稽 翻页发现url链接并没有改变，用谷歌开发者工具network发现加载了XHR文件并返回json格式的响应 要对其进行翻页处理，观察一下query string的规律，发现那么多个参数只有page这个参数是变化的 所以接下来都很好做了~嘻嘻 items.py imp...
python爬虫json must be_Python解析json时提示“string indices must be integers”问题解决方法...
weixin_42332497的博客
02-04 1043
本文实例讲述了Python解析json时提示“string indices must be integers"问题解决方法。分享给大家供大家参考，具体如下：import json，但是出现了一个奇怪的问题：string indices must be integers这个错误告诉我，[ ]里面应该是数字而不是字符串，但是dict使用key访问也可以，这种错误感觉解析出来的结果像是一个list。所以...
Python 错误：TypeError String Indices Must be Integers 【已解决】
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
03-09 11万+
Python 错误：TypeError String Indices Must be Integers 【已解决】 如果你尝试使用字符串值，而不是整数值来访问字典或可迭代对象的值，那么你将收到以下错误消息： TypeError: string indices must be integers 在本文中，我将向你展示为什么会收到这个错误消息以及如何修复它的示例。 Python 访问 list 中的值 在下面例子中，我们有一个 instruments 列表： instruments = ['flute', '
string indices must be integers 错误可能的原因（下标，json）
热门推荐
weixin_43256057的博客
11-08 35万+
这个错误意思是字符串的下标一定要是整数 出这种错误有多种可能，最形象直接的就是： a = '[abc]' print(a['0']) 有点pyhton基础的都知道下标怎么能是字符串’0’，必须是整数0,1,2,3… a = '[abc]' print(a[0]) 才是正确的 第二种是json格式导致的错误： #部分代码 skuid = re.findall('https://ite...
python错误:TypeError: string indices must be integers
wang1144的专栏
01-22 15万+
在项目遇到一个错误 ： TypeError: string indices must be integers 由于是返回的接口数据，所以一时也分辨不出是哪里的错，然后我就还原了这样的场景： unicode_str = u'abcd' print unicode_str[2] print unicode_str['mykey'] 读取一个unicode编码
Python爬虫入门教程：超级简单的Python爬虫教程
01-13
Python爬虫是初学者进入数据抓取领域的重要工具，它能帮助我们自动化地从互联网上获取所需信息。本文将引导你逐步了解并实践Python爬虫的基本步骤。 首先，我们需要了解网页的基本构成。网页通常由HTML（HyperText ...
Python爬虫案例.md
07-27
以上是一个简单的Python爬虫示例，用于抓取指定网页的标题和链接 这个爬虫使用了requests库来发起HTTP请求并获取页面内容，同时使用了BeautifulSoup库对HTML进行解析。你可以根据自己的需求修改代码，并添加更多功能...
python爬虫模版+详解
03-25
简单来说，Python爬虫是一种自动化程序，用于从互联网上抓取大量数据。它们通过模拟浏览器行为，遵循HTTP协议，请求网页并解析HTML或其他格式的文档，从而提取所需信息。Python中的BeautifulSoup、Scrapy、Requests...
Python爬虫解析笔记.md
最新发布
08-27
内容概要: 本篇内容主要介绍了Python网络爬虫的相关知识,包括...最后可以尝试修改代码完成一个简单的爬虫程序。也可以关注内容中提到的相关库的更多用法。总体来说,本文内容丰富,示例具体,是Python网络爬虫学习的好教材
python解析json时出现“string indices must be integers”
我的博客
02-20 5万+
import json，但是出现了一个奇怪的问题：string indices must be integers这个错误告诉我，[ ]里面应该是数字而不是字符串，但是dict使用key访问也可以，这种错误感觉解析出来的结果像是一个list。所以考虑是字符串解析的问题。打印解析的结果，是一长串的字符串，一堆的key挤在一起，value都缺失了。再打印原始的字符串，发现了一些细节，key并没有被双引号...
python：机器学习之一爬虫
lm19770429的专栏
05-28 685
数据集： https://archive.ics.uci.edu/ml/index.php https://www.kaggle.com/datasets
迅雷下载链接转为普通链接
我的博客
02-23 4万+
直接放上代码：import base64 class changeWorker: def thunderToNormal(self,url): if url.startswith('thunder://')or url.startswith('Thunder://'): mystr = url[10:] else: ...
关于networkx节点的形状（node_shape）
我的博客
07-30 1万+
networkx中默认的节点形状是一个圆： node_shape (string, optional (default=’o’)) – The shape of the node. Specification is as matplotlib.scatter marker, one of ‘so^>v<dph8’.  其实还有其他的选择。 networkx需要用到matplotli...
配置pycharm将.qrc转化为.py
我的博客
02-20 1万+
使用Qt designer时加入的资源文件后缀名为.qrc，而当使用pyqt的时候，如果不将.qrc转换为.py，“import resource_rc”这一句就会报错。一般的.qrc文件长这样：而.py的资源文件长这样：看样子是把数据直接保存为二进制了。要转换它们我们需要pyrcc.exe(pyqt自带)，我的配置：program：你的pyrcc.exe的目录argument：$FileName...
py2neo出现'Graph' object has no attribute 'find_one'
我的博客
07-25 9949
原因：py2neo的v2和v3版本有两个很简便的查找节点的函数find_one()和find(),但是在v4版本里面不见了。 现在查找节点的操作是这样子的： from py2neo import Graph, NodeMatcher graph = Graph() matcher = NodeMatcher(graph) matcher.match("Person", name="Keanu...
两秒17发——一个鼠标连点器
我的博客
02-20 7338
import pyautogui pyautogui.PAUSE=0.12 #pyautogui.FAILSAFE=True def shoot(): for a in range(1,18): pyautogui.click(button='left') shoot()感觉可以结合pyhook写个热键……附上pyautogui的官方文档:https://pyautogui...
将networkx嵌入pyqt5
我的博客
08-04 1784
单纯使用networkx的话会蹦出来一个独立的窗口，那么，因为networkx是建立在matplotlib的基础上的，既然可以将matplotliblib嵌入pyqt，networkx的嵌入从理论上也是可以实现的。 将matplotlib嵌入pyqt参考了这篇博客：https://www.cnblogs.com/Arago/p/7765510.html 使用qt designer先创建一个...
使用PyHook3记录按键
我的博客
08-19 1340
源代码来自python黑帽子这本书，但是它太旧了，用的是python2.x，好多库在3里面已经不支持了，而且有些细节会出现问题。 from ctypes import * import pythoncom import pyHook import win32clipboard user32 = windll.user32 kernel32 = windll.kernel32 psapi...
Python爬虫速成：一个月精通大数据抓取
Python爬虫对于初学者友好，因为它入门门槛较低，基本语法简单，且有众多强大的库如BeautifulSoup、requests和Scrapy等支持。学习Python爬虫不仅可以提升编程技能，还能为后续的数据分析、Web开发和机器学习打下坚实...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值