python爬取电影天堂

最新推荐文章于 2024-05-22 16:07:26 发布
最新推荐文章于 2024-05-22 16:07:26 发布
阅读量2.3k 收藏 7
点赞数 1
分类专栏： 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45075241/article/details/90344172
版权

爬取的网址：
http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html
使用的环境：
pychram+anaconda5.4.7+python3.7.1
使用的函数库：
requests+pyquery+csv+time
在这里插入图片描述
爬取思路：先在爬取的网址中得到电影详情页的网址，再访问详情页提取需要的信息。

网站分析：
关于翻页，网站第一页为http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html
第二页为http://www.ygdy8.net/html/gndy/dyzz/list_23_2.html
第三个为http://www.ygdy8.net/html/gndy/dyzz/list_23_3.html
可以看出，仅有html前的数字变化，并且此数字对应的是页码

关于提取详情页网址，可以看到详情页的网址在b节点下的a节点的href属性中，在此信息前面加上http://www.ygdy8.net，就可以访问详情页。
在这里插入图片描述
提取详情页信息：
可以看到详情页的信息在下面部分的不同节点中，

最低0.47元/天 解锁文章
Juno的学习日记
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 爬取电影天堂top最新电影
zurich0v0的博客
04-08 5002
Python爬虫有他无可比拟的优势：语法简单，经常几十行代码就能轻松解决问题，相比于JAVA,C,PHP;第三方库丰富，Python强大而又丰富的第三方库使他几乎可以无所不能。今天我们就来用用Python爬取电影天堂最新电影资源，一起来看看吧。 分析网页源代码 进入开发者模式 首先我们打开浏览器，进入开发者模式（这里推荐大家使用谷歌浏览器） 快捷键 开发者模式：Ctrl/shitf + x 或者直...
python 3 电影天堂信息爬取 练手学习
11-29
利用python爬取电影天堂数据，有部分代码有点不通畅，并无大碍
python爬虫——爬取电影天堂磁力链接
乐亦亦乐的博客
08-28 2万+
爬虫：静态网页爬取 工具：pycharm，python3.6，火狐浏览器 模块：requests(可以使用pip install requests安装)，re（不用安装） 网址：http://www.ygdy8.net/html/gndy/dyzz/index.html电影天堂 以火狐浏览器为例 复制影片名称，在网页源代码中查找，看能否找到。 查看页面源代码，Ctrl+f。 ...
爬取豆瓣电影TOP250存入Excel中（课堂学习）
最新发布
qq_62213560的博客
05-22 449
mv_name = soup_mv.find_all('span', attrs={'property': 'v:itemreviewed'}) # 电影名。columns=['电影排名', '电影名', '上映时间', '导演', '主演', '电影类型', '电影评分', '评价人数',mv_evaluation_num = soup_mv.select('a.rating_people') # 评价人数。string = '/'.join(list_mv_star) # 重新定义格式。
python爬虫——用Scrapy框架爬取阳光电影的所有电影
心之所向的博客
06-04 2515
python爬虫——用Scrapy框架爬取阳光电影的所有电影 1.附上效果图 2.阳光电影网址http://www.ygdy8.net/index.html 3.先写好开始的网址 name = 'ygdy8' allowed_domains = ['ygdy8.net'] start_urls = ['http://www.ygdy8.net/index.html'] 4....
Python爬虫-爬取 ygdy8.com 站点的所有电影并写入文件和数据库
KangVcar
10-17 1万+
项目代码地址: ===欢迎fork 、star === https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_ygdy8.py
Python爬虫 -- 抓取电影天堂8分以上电影
人生苦短， 还不用Python？
05-24 9560
爬虫的入口从分页的列表开始，比如美剧的列表第一页地址这样：http://www.ygdy8.net/html/gndy/oumei/list_7_1.html，第二页是http://www.ygdy8.net/html/gndy/oumei/list_7_2.html，是有规律的，所以就可以遍历所有的页面，分别抓取每页里面的影视资源，再进入每条电影的详情页面，抓取出下载地址，存到文件里。 技术...
Python-pythonscrapy爬取电影天堂所有电影
08-12
在本案例中，“Python-pythonscrapy爬取电影天堂所有电影”项目旨在利用Scrapy来抓取电影天堂网站上的电影资源信息。电影天堂是一个知名的在线电影资源平台，提供了丰富的电影下载链接和介绍信息。 首先，我们要...
python爬取电影天堂链接并调用迅雷下载
07-26
使用python获取电影天堂所有资源链接地址和下载地址，并调用迅雷下载
详解Python爬取并下载《电影天堂》3千多部电影
01-21
不知不觉，玩爬虫玩了一个多月了。 我愈发觉得，爬虫其实并不是什么特别高深的技术，它的价值不在于你使用了什么特别牛的框架，用了多么了不起的技术，它不需要。...最近有点片荒，不知道该看什么电影，而且有些电
python使用requests模块实现爬取电影天堂最新电影信息
01-20
本文重点给大家介绍python使用requests模块实现爬取电影天堂最新电影信息，具体内容如下所示： 在抓取网络数据的时候，有时会用正则对结构化的数据进行提取，比如 href=”https://www.1234.com”等。python的re模块...
自己经常用的一些电影下载网址
qq_42348752的博客
06-28 1万+
自己经常用的一些电影下载网址 1.http://www.6vhao.com/ 2.http://www.btshoufa.net/ 3.http://www.yoyozz.com/ 4.http://www.dytt8.net/ 5.http://www.byzhu.com/ 6.http://www.piaohua.com/ 7.http://www.ygdy8.com/ 8.http://www.ed2000.com/ 9.https://www.smq1.com/?url=https%3A%2F%2F
【Python成长之路】从零学爬虫--下载豆瓣8分以上的电影（附电影下载地址）
yuzipeng的专栏
08-10 1万+
【写在前面】 平时在家休闲时，经常为找不到好看的电影而发愁。因此写了个爬虫，下载豆瓣8分以上的各类电影链接。当前只是爬取了电影的下载地址，只需要复制链接到迅雷就可能下载了。 【示例代码】 # coding=utf-8# @Auther : "鹏哥贼优秀"# @Date : 2019/8/10# @Software : PyCharm import threadingimpor...
xpath；；利用xpath爬取电影天堂
一只迟到的程序猿狗狗
01-19 3433
电影天堂数据采集需求文档(先用正则表达式做) 一、 最新电影页面电影链接采集 1. 首页url：http://www.ygdy8.net/html/gndy/dyzz/list_23_1.html 2. 从该页面根据正则匹配数据，具体要求如下： 2.1 匹配电影名称 例如：2017年动作冒险《太空救援》BD俄语中字 2.2 匹配电影详情页链接地址 例如：/html/gndy/dyzz/2018
Python爬虫案例——爬取电影天堂相关数据保存进MySQL数据库
m0_72628462的博客
07-07 1145
本文介绍了如何使用Python爬虫从电影天堂网站获取电影相关数据，并将数据保存到MySQL数据库中。我们将获取电影的标题、封面、简介、类别和磁力链接。通过以上步骤，我们已成功爬取了电影天堂网站的电影相关数据，并将其保存到MySQL数据库中。我们可以根据需要修改爬取的字段和数据库连接信息，以适应不同的情况。注意：在爬取网站数据时，请确保你遵守网站的使用协议和法律法规。
python爬虫——电影天堂电影
热门推荐
2201_75769266的博客
08-03 27万+
【代码】python爬取——电影天堂电影。
Python（requests）爬取电影天堂
LoveStarbucks的博客
02-10 1093
Python（requests）爬取电影天堂 from lxml import etree import requests #根据自己访问的页面进行url调节 ul = "https://www.dytt8.net/html/gndy/dyzz/list_23_1.html" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;...
python爬取电影并下载
06-28
### 回答1： 用Python编写程序来爬取电影资源并下载十分方便。我们可以利用Python中的Requests库和BeautifulSoup库来获取目标网站上的电影信息，再通过正则表达式或其他解析方式，从网页中提取出我们想要的电影资源下载链接。最后，利用Python的文件下载模块或者其他第三方工具，将电影资源下载到本地。具体的步骤如下： 1.首先需要选择一个合适的网站，例如电影天堂、电影港等，这些网站上都有大量的电影资源供我们爬取。 2.引入Requests库和BeautifulSoup库。通过Requests库发起HTTP请求，获取网页的HTML代码，再利用BeautifulSoup库对HTML代码进行解析和筛选。 3.从网页中提取出电影的名称、下载链接、封面图片等关键信息。可以利用BeautifulSoup库的find()和find_all()等方法，根据HTML源码中元素的CSS选择器、ID、Class等属性进行筛选和定位。 4.利用正则表达式或其他方式解析电影的下载链接。此时需要根据不同网站的下载链接格式及其特点，灵活应用解析方法。例如，电影天堂上的下载链接是用base64编码加密过的，需要使用base64库进行解码。 5.利用Python的文件下载模块或其他第三方工具，将电影资源下载到本地。对于文件较大的电影资源，可以使用多线程或异步编程的方式提高下载速度和效率。 6.最后，需要注意爬虫时要遵守法律法规和网站的使用规定，不能侵犯他人的权益和违反网站的服务条款。 ### 回答2： 随着网络的发展，越来越多的人选择在线观看电影来娱乐休闲。但是有时候我们想要下载电影，以便离线观看或分享给朋友。而使用 Python 爬取电影并下载是一个不错的选择。接下来，我将为大家介绍如何使用 Python 爬取电影并下载。 一、爬取电影信息 首先，我们需要爬取电影的信息，包括电影名称、下载链接、图片等等。一般来说，我们可以从电影网站上爬取这些信息。以豆瓣电影为例，我们可以使用 requests 和 Beautiful Soup 库来获取所需信息。 代码示例： ```python import requests from bs4 import BeautifulSoup url = 'https://movie.douban.com/top250' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} res = requests.get(url, headers=headers) soup = BeautifulSoup(res.text, 'html.parser') movies = soup.select('.grid_view > li') for movie in movies: title = movie.select('span.title')[0].text.strip() img_url = movie.select('img')[0].get('src') download_url = movie.select('.info > div > a')[0].get('href') print(title, img_url, download_url) ``` 以上代码中，我们首先构造了一个 headers 请求头，模拟了浏览器的请求。然后使用 requests 库向网站发送请求，并使用 Beautiful Soup 库解析网页。接着，使用 CSS 选择器来获取电影列表，并从列表中获取所需信息。 二、下载电影 接下来，我们需要根据电影的下载链接，使用 Python 下载电影。一般来说，我们可以使用 requests 库下载电影，并将下载的电影保存到本地。 代码示例： ```python import requests url = 'https://movie.douban.com/subject/1292052/' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} res = requests.get(url, headers=headers) download_url = res.url r = requests.get(download_url, stream=True) with open('movie.mp4', 'wb') as f: for chunk in r.iter_content(chunk_size=1024): f.write(chunk) ``` 以上代码中，我们首先获取并保存电影的下载链接。然后，使用 requests 库发送请求，并开启流模式（stream=True）来下载电影，并以二进制写入文件中（'movie.mp4'）。当然，如果你有更好的存储方式，也可以根据自己的需求进行保存。这里要注意的是，下载电影需要时间较长，因此建议使用流模式分批次下载。 三、总结 使用 Python 爬取电影并下载是一个有趣的练手项目，对于初学者来说，可以锻炼 Python 编程能力和理解 Web 技术。当然，在实践中需要注意法律法规，不得侵犯他人版权。 ### 回答3： Python是一种易于学习且强大的编程语言，它在数据科学、机器学习和自然语言处理等领域都有广泛的应用。其中，Python爬取电影并进行下载的功能也备受欢迎，它可以帮助我们快速获取电影资源并下载到本地。 要实现这个功能，我们需要借助一些第三方库，常用的有requests、beautifulsoup4和urllib等。首先，我们可以通过requests库进行网页的请求，获取到需要爬取的电影页面的源代码，然后通过beautifulsoup4库进行页面的解析和信息的提取。例如，如果我们需要获取电影的下载链接，可以通过beautifulsoup4库的find_all方法获取到相应的标签，再用正则表达式对其中的链接进行提取。最后，我们可以利用Python自带的urllib库进行电影的下载操作。 另外，为了避免被网站封禁，我们还需要注意一些爬虫的规范。例如，可以设置间隔时间、修改UA头和设置代理IP等方式来减少被封禁的风险。此外，我们也要注意网站的版权法律政策，避免侵犯其他权利人的合法权益。 总的来说，利用Python爬虫技术来获取电影资源并进行下载是一个技术含量较高的操作，需要具备一定的技术功底和实践经验。但也正因为如此，Python爬虫技术的应用领域才是如此广泛和丰富。如果你有兴趣，欢迎进一步了解和探索相关技术，希望可以对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值