爬取剧集地址并存入excel

最新推荐文章于 2022-11-30 17:07:27 发布
最新推荐文章于 2022-11-30 17:07:27 发布
阅读量7k 收藏
点赞数
分类专栏： 实用 文章标签： selenium python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51598376/article/details/116883766
版权
本文介绍了使用selenium爬取人人视频的剧集链接，以《胜者即是正义》为例，爬取后的链接暂存在Excel中，并探讨了后期可能用access存储和Scrapy进行全站爬取的可能性。作者还提到，爬取的链接存在时效性，可能需要定期更新。
摘要由CSDN通过智能技术生成

需求以及技术点梳理

爬取地址并保存在数据库，后期可放入网站后台调用，最终实现网站在线播放剧集

由于数据库以及后台相关知识尚未掌握

现暂时练习用爬虫爬取视频地址保存至excel,然后用access存储

利用人人视频爬取，因为它的视频url是现成的（不可思议噢）

先用selenium爬取，后期合适的话用scrapy全站爬取

保存用xlwt模块，后期练习操作excel，争取熟练使用此模块

爬取胜者即是正义为例

代码

#导入模块略
def main():
    workbook = xlwt.Workbook(encoding='utf-8')
    mysheet = workbook.add_sheet('剧集1')
    mysheet.write(0, 0, '片名')
    mysheet.write(0, 1, '集数')
    mysheet.write(0,
最低0.47元/天 解锁文章
丹尼尔•卡尼�
关注
专栏目录
python 爬取bilibiliTOP100视频信息，保存到excel和mysql
qq_45946788的博客
10-01 547
'''爬取B站前100的视频信息''' import re import urllib.request import xlwt import time import pymysql from bs4 import BeautifulSoup #获取视频信息的列表字典 def getlist(): url = 'https://www.bilibili.com/ranking/all/0/0/3' # 伪装浏览器头部信息 head = {'User-Agent': 'Mozilla/.
用python爬取top100电视剧存入mysql数据库
littlespider889的博客
06-03 534
大家好，我是天空之城，今天给大家带来用python爬取时光网top100电视剧存入mysql数据库，注意这里有个if条件判断语句，因为有的简介是空值，所以这里加了一个判断。 自己先建立表格。 import pymysql conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='你的数据库密码', db='你的数据库名称', charset='utf8') cursor = conn.cursor() sql
小萌新爬虫爬取电视剧网站，并写入Excel表格里面
users12的博客
06-05 587
list1=[]list2=[]list3=[]list4=[]import requestsfrom bs4 import BeautifulSoupreq=requests.get('https://www.360kan.com/dianshi/list.php?cat=113')req.encoding=req.apparent_encodingsoup=BeautifulSoup(req....
python爬取近五年的华语电影，并储存到excel表
网络安全领域优质创作者
12-15 761
帮群里的一个小朋友写的，这些个名字不是我起的，大学生的作业，勿喷。 代码如下，仅供参考： import time import xlwt from lxml import etree import requests import json def processing_data(content_list): # 创建一个workbook 设置编码 workbook = xlwt.Workbook(encoding='utf-8') # 创建一个worksheet
python爬虫实战——爬取猫眼电影TOP100并导入excel表
Six23333的博客
11-17 3617
系列文章目录 python爬虫实战——爬取淘宝商品信息并导入EXCEL表格（超详细）. python多线程爬取壁纸 妈妈再也不担心我没壁纸了！. python爬虫爬取虎牙数据（简单利用requests库以及Beautifulsoup）. python爬虫之爬取壁纸（新手入门级）. 文章目录系列文章目录前言一、解析URL组成二、利用正则表达式获取所需的数据2.数据的优化三、使用selenium模拟网页刷新四、总体的函数和代码编写1.获取html内容2.正则表达式获取信息3.获取每页的网页链接4.将信息写入ex
python爬取内容存入Excel实例
09-19
### Python爬取内容存入Excel知识点详解 #### 一、项目背景与目标 在本案例中，主要介绍如何使用Python爬取豆瓣Top250电影的相关信息，并将这些信息保存到Excel文件中。通过这个实践案例，我们可以学习到Python...
python爬虫爬取双色球网页数据并存入excel表格
最新发布
03-18
Python爬虫是一种用于自动化获取网页数据的技术，可以用来爬取双色球网页数据并存入Excel表格。下面是一个简单的示例代码： ```python import requests from bs4 import BeautifulSoup import openpyxl # 发送HTTP...
Python如何爬取网站表格数据并存入Excel
05-20
Python可以使用第三方库BeautifulSoup和pandas来爬取网站表格数据并存入Excel。 首先，使用requests库获取网页的HTML文档，并使用BeautifulSoup库解析HTML文档，找到表格数据所在的HTML标签。 然后，使用pandas库...
用Python爬取5000条数据并存入excel
06-06
好的，以下是一个示例代码，可以帮助您使用Python爬取5000条数据并将数据存入Excel文件中： ```python import requests from bs4 import BeautifulSoup import openpyxl url = 'https://www.example.com' # 需要...
「python」爬取猫眼 TOP100 电影并以 excel 格式存储
weixin_34128237的博客
06-08 1221
爬取目标本文将提取猫眼电影 TOP100 排行榜的电影名称、时间、评分、图片等信息，URL 为http://maoyan.com/board/4，提取的结果我们以 excel 格式保存下来。准备工作保证电脑安装了 python3.6 和已经安装好了 requests 库、beautifulsoup 库和 openpyxl 库。前期安装步骤可以参考：https://germey.gitbooks.i...
【Python成长之路】python 从零学爬虫 -- 没时间看《长安十二时辰》电视剧怎么办？直接爬取所有剧情吧！
yuzipeng的专栏
08-10 1105
【写在前面】 最近大火的《长安十二时辰》真的是好看，算的是良心网剧了。但是由于平时工作时间较长，经常无法准时追剧，并且又因为不想见到元裁那对挨千刀的（作为演员，演技是值得肯定的，角色演绎的让人看的心烦）。因此就写个程序，直接爬取《长安》的剧情呗！ 【示例代码】 # coding=utf-8 # @Auther :　鹏哥贼优秀 # @Date : 2019/8/7 from...
使用selenium爬取电视剧排行榜中电视剧的信息并存储到excel中
weixin_52293703的博客
11-30 1492
本人是爬虫初学者，想通过爬取电视剧信息来巩固自己所学的一些知识，但是在一些网站中并没有找到类似于page的参数，或者就是参数加密，自己的能力没法解开，导入无法使用下一页的功能。所以我就想到了selenium，找到"下一页所在的标签"，直接点击就好了。慢是慢了点，不过好在能使用下一页的功能了。
10-搜狐视频中电视剧的分集简介爬取
chuiai8582的博客
12-26 428
目的：按地区对搜狐卫视中的电视剧进行爬取，爬取信息包括：剧名（albumName）、主演（actors）、地区（area）、类型（categories）、导演（directors）、年份（publishYear）、简介（albumDesc）、每集的名称（name）、每集观看人数（vid）、每集...
Python爬虫：爬去韩国电视剧信息
网络爬虫开发
03-21 1820
最近看韩剧想重温一下以前看的韩剧 但是就记得剧情 到网站上找了 太多点的太麻烦，网上问了也回答不了 找的几个片名都不对，所以就想写个爬虫爬去某站上所有的韩剧信息，可以方便查找想看的韩剧 爬取具体如下： # 爬去网站韩国电视剧的信息 # 爬去片面、时间、地区、主演、简介 1、导入模块 import requests import time from lxml import etree ...
python爬虫--爬取cctv连续剧
weixin_30616969的博客
09-22 1001
1 #encoding=utf-8 2 import requests 3 from bs4 import BeautifulSoup 4 import re 5 import os 6 from aria2rpc import rpc_addUri 7 class Cntv(): 8 9 def openUrl(self,url)...
Python爬取豆瓣Top250电影可见资料并保存为excel形式
weixin_49043125的博客
03-11 987
Python爬取豆瓣Top250电影可见资料并保存为excel形式 利用requests第三方库实现网页的元素爬取，再使用openpyxl库进行信息的录入。 具体思路 1.分析网页的headers。 2.分析网页的js。 3.模拟用户代理进入网页，get请求浏览。 4.提取网页的Xpath在python中利用循环遍历将获取资料录入列表。 5.使用openpyxl库，循环遍历列表录入信息。 headers头的分析与申请浏览 在控制台的网络中点击任意绿色条，弹出下列文件，任意点击一个后即可分析请求头。 hea
我是如何把python爬虫获取到的数据写入Excel的？
热门推荐
qq_36807888的博客
08-18 1万+
如何将爬虫获取的数据写入Excel，这一点我在爬虫文章几乎都是采用这种方式来进行操作的 写入Excel的目的是为了后续更加方便的使用pandas对数据进行清洗、筛选、过滤等操作。 为进一步数据研究、可视化打基础。 1. 自定义写入Excel python写入Excel的方式有很多，常用的支持python操作的库有 xlsxwriter、pandas、openpyxl 今天咱们只介绍我常用到的openpyxl 1. 创建workbook 2.创建worsheet .
爬虫爬取猫眼电影top100排名并保存本地Excel或txt
chenjiajia2017的博客
02-22 1006
import requests,re from openpyxl.workbook import Workbook from openpyxl.writer.excel import ExcelWriter def get_page(url): headers = { "User-Agent":"Mozilla/5.0 (Macintosh; U; Intel Mac OS X...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值