豆瓣爬虫日志（一）：豆瓣电影url类型

最新推荐文章于 2022-06-21 18:08:03 发布
最新推荐文章于 2022-06-21 18:08:03 发布
阅读量601 收藏
点赞数
文章标签： 爬虫
原文链接：http://www.cnblogs.com/cuixiaochen/p/4739308.html
版权

豆瓣电影主页上爬到了如下url：

href=""http://movie.douban.com/subject/26289144/?from=showing""
href=""http://movie.douban.com/subject/26289144/?from=showing""
href=""http://movie.douban.com/subject/26289144/cinema/""
href=""http://movie.douban.com/subject/25723907/?from=showing""
href=""http://movie.douban.com/subject/25723907/?from=showing""
href=""http://movie.douban.com/subject/25723907/cinema/""
href=""http://movie.douban.com/subject/25778488/?from=showing""
href=""http://movie.douban.com/subject/25778488/?from=showing""
href=""http://movie.douban.com/subject/25778488/cinema/""
href=""http://movie.douban.com/subject/26356871/?from=showing""
href=""http://movie.douban.com/subject/26356871/?from=showing""
href=""http://movie.douban.com/subject/26356871/cinema/""
href=""http://movie.douban.com/subject/26373447/?from=showing""
href=""http://movie.douban.com/subject/26373447/?from=showing""
href=""http://movie.douban.com/subject/26373447/cinema/""
href=""http://movie.douban.com/subject/25904357/?from=showing""
href=""http://movie.douban.com/subject/25904357/?from=showing""
href=""http://movie.douban.com/subject/25904357/cinema/""
href=""http://movie.douban.com/subject/26344993/?from=showing""
href=""http://movie.douban.com/subject/26344993/?from=showing""
href=""http://movie.douban.com/subject/26344993/cinema/""
href=""http://movie.douban.com/subject/25853727/?from=showing""
href=""http://movie.douban.com/subject/25853727/?from=showing""
href=""http://movie.douban.com/subject/25853727/cinema/""
href=""http://movie.douban.com/subject/26365738/?from=showing""
href=""http://movie.douban.com/subject/26365738/?from=showing""
href=""http://movie.douban.com/subject/26365738/cinema/""
href=""http://movie.douban.com/subject/21943062/?from=showing""
href=""http://movie.douban.com/subject/21943062/?from=showing""
href=""http://movie.douban.com/subject/21943062/cinema/""
href=""http://movie.douban.com/subject/25895276/?from=showing""
href=""http://movie.douban.com/subject/25895276/?from=showing""
href=""http://movie.douban.com/subject/25895276/cinema/""
href=""http://movie.douban.com/subject/26417725/?from=showing""
href=""http://movie.douban.com/subject/26417725/?from=showing""
href=""http://movie.douban.com/subject/26417725/cinema/""
href=""http://movie.douban.com/subject/26382888/?from=showing""
href=""http://movie.douban.com/subject/26382888/?from=showing""
href=""http://movie.douban.com/subject/26382888/cinema/""
href=""http://movie.douban.com/subject/25837175/?from=showing""
href=""http://movie.douban.com/subject/25837175/?from=showing""
href=""http://movie.douban.com/subject/25837175/cinema/""
href=""http://movie.douban.com/subject/26289144/?from=reviews""
href=""http://movie.douban.com/subject/26289144/?from=reviews""
href=""http://movie.douban.com/subject/25778488/?from=reviews""
href=""http://movie.douban.com/subject/25778488/?from=reviews""
href=""http://movie.douban.com/subject/1295124/?from=reviews""
href=""http://movie.douban.com/subject/1295124/?from=reviews""
href=""http://movie.douban.com/subject/6845667/?from=reviews""
href=""http://movie.douban.com/subject/6845667/?from=reviews""
href=""http://movie.douban.com/subject/10533913/""
href=""http://movie.douban.com/subject/26289144/""
href=""http://movie.douban.com/subject/26147706/""
href=""http://movie.douban.com/subject/10773239/""
href=""http://movie.douban.com/subject/11624706/""
href=""http://movie.douban.com/subject/26378698/""
href=""http://movie.douban.com/subject/3338862/""
href=""http://movie.douban.com/subject/25777784/""
href=""http://movie.douban.com/subject/25881067/""
href=http://movie.douban.com/subject/25766663/
 

这些 url 后缀分为四类：

1，无后缀：电影信息页面

2，?from=reviews：同上

3，?from=showing：同上

4，cinema：选择影院页面（购票）

转载于:https://www.cnblogs.com/cuixiaochen/p/4739308.html

weixin_30394333
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Python抓取电影天堂数据
weixin_43821172的博客
04-21 1万+
一、开头 在花了近半年的课余时间学习了Python的基础语法后开始尝试网页的抓取,学了一个星期，刚开始的抓取比较小的网页尝到甜头后，疯狂的找各种网页抓取，当然也被各种虐得反爬虐 - -！ 于是决定认真复习之前的笔记，把爬取过的网页及方法记录下来，写博客有助于自己后面的复习，当然如果有爬虫比我还小白的朋友看我的这些基础可能也会收获点 ~ 二、工具（Python）所依赖的库 requests x...
爬虫实战4：豆瓣的模拟登陆
A994958的博客
12-07 1584
系列文章目录 一、pandas是什么？ 二、使用步骤 url_basic = 'https://accounts.douban.com/j/mobile/login/basic' url = 'https://www.douban.com/' ua_headers = {"User-Agent": 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)'} # basic中p..
豆瓣的Url结构方式一览
Code-lover's Learning Notes
12-02 1472
网站域名一般都会选简短易记的，因为这对于网站宣传来说也可以省不少力。而被很多网站忽视的站内Url结构则在一定程度上反映出网站的整体架构。     当设计走向越来越轻的时候，网站Url结构的设计也越来越清晰明了化，很大程度上已经可以通过Url结构来获知该页面的大致内容。     豆瓣就是这样一个网站。     豆瓣的Url结构除了清晰明了易识别外，还有很多很有意思的地方：比如上一篇
获取电影的下载地址。
m0_68130936的博客
06-21 506
import re import requests import xlwt //将得到的下载电影的地址送到excel表中 workbook = xlwt.Workbook(encoding="utf-8") worksheet = workbook.add_sheet('sheet1') head = { "user-agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, lik.......
豆瓣电影爬虫案例
12-13
该项目主要介绍了一种通过爬虫技术抓取豆瓣电影网站上科幻电影前34名的数据，并保存这些电影的详细信息及剧照的方法。 #### 二、环境搭建与依赖库安装 在开始编写代码之前，需要确保已安装Python环境。此外，还...
豆瓣scrapy爬虫
02-05
【标题】：“豆瓣scrapy爬虫”是指使用Python的Scrapy框架开发的，用于抓取豆瓣网站上Top50电影数据的爬虫程序。Scrapy是一个强大的、高效的爬虫框架，专为网络抓取和数据提取设计，适用于各种规模的项目。 【描述...
豆瓣250电影多线程爬虫
01-16
标题中的“豆瓣250电影多线程爬虫”指的是一个使用Python编程语言编写的爬虫程序，其目标是高效地抓取豆瓣电影网站上排名前250部的电影数据。这个项目对于想要学习和实践网络爬虫，尤其是熟悉多线程技术的初学者来说...
豆瓣爬虫项目 php 采用 thinkphp5.2框架.zip
最新发布
02-05
标题中的“豆瓣爬虫项目 php 采用 thinkphp5.2框架.zip”表明这是一个基于PHP语言，使用ThinkPHP5.2框架开发的豆瓣网站数据爬虫项目。这个项目的目的是抓取并处理豆瓣网站上的数据，例如电影、图书或音乐的相关信息...
基于python爬虫对豆瓣影评分析进行爬取的课程设计.zip
12-08
在本课程设计中，我们将深入探讨如何利用Python爬虫技术来获取并分析豆瓣电影网站上的影评数据。Python爬虫是获取大量网络数据的有效手段，尤其适用于数据分析和挖掘项目。以下是一些关键知识点： 1. **Python基础*...
获取豆瓣分类排行电影的URL
qq_17172105的博客
12-29 1033
from bs4 import BeautifulSoup from selenium import webdriver import re,time driver = webdriver.Chrome(executable_path=r'E:\rj\Chrome\chromedriver.exe') with open('f://ty.txt','r') as f: f=f.read(
requests豆瓣电影爬取（简单）
weixin_46289100的博客
08-04 972
1.查看网站 网址：https://movie.douban.com/chart 选择需要爬取的电影类型 例如：选择科幻类电影排行榜 2.查看网页源码 查找 Request URL记录地址 查看并记录参数 查看网页内容的格式 找到Response Headers分组 查看Content-Type（本次例子就是json格式） 3.编写代码 # 引入所需模块 import requests import json if __name__ == '__main__': # step1:指定url
【技术评网】说说豆瓣的URL设计
weixin_30565199的博客
02-04 208
很多人都喜欢豆瓣，但是豆瓣的URL设计似乎有一些小问题。 豆瓣的URL地址大部分是以 / 结束的，这个 / 在URL地址中的本来意思是代表目录，但由于豆瓣采用了python开发的动态系统，所以，这些目录都是不存在的。 豆瓣的URL地址示例如下图： 但是在IE浏览器中，比如IE6，当输入URL地址时候，如果这个地址是曾经访问过的某地址的一部分，那么地址栏会出现URL地...
电影url 批两下载的思路和代码
chengjintao1121的博客
08-20 1478
import requests,re from zhouliu.class_tt import class_tt 实例化一个添加数据到数据库的类 dytt_mysql=class_tt() m=0 for i in range(1,5): url=’http://www.dytt8.net/html/gndy/china/list_4_%d.html‘% i pr...
小程序入门学习06--data、url传参、调用豆瓣api
墨浅
02-10 579
data- 自定义数据属性 设置 <view class='container movie-card' bindtap='f1' data-user-name="bla"> f1: function(event) { //在控制台查看被封装到事件对象中的属性 console.log(event.currentTarget) wx.navigateTo(...
爬虫入门经典(十二) | 一文带你快速爬取豆瓣电影
热门推荐
不温卜火
10-28 7万+
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
爬取指定网站的电影，默认url已获得。代码经测试可用
weixin_44418748的博客
10-13 1409
python爬取电影 测试可用爬取指定网站的电影，默认url已获得 爬取指定网站的电影，默认url已获得 你网站是以 .ts 流的形式，顺序增加的。 import requests def temp(i): ## 1找到url url ="https://bobo.okokbo.com/20171117/2Eknv6hZ/6583kb/hls/yoCGHLE"+ i +"....
Python爬虫实践：抓取豆瓣电影TOP250数据
"该文档是南京航空航天大学计算机科学与技术学院信息安全专业的一份关于网络爬虫的实验报告，实验目标是抓取并分析豆瓣电影TOP250的详细数据。实验旨在让学生理解计算机网络协议，掌握Python编程以及HTML、CSS、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值