BeautifulSoup库用链接采集1688和某宝的详情图片和视频

最近写了一个脚本使用python的BeautifulSoup库,填写链接采集1688和某宝详情图片和视频

非常简单,贴上代码

# -*- coding: utf-8 -*-
import re

from bs4 import BeautifulSoup

url="https://detail.1688.com/offer/645116361079.html"
#发送请求
import requests
#导入第三方

#发送请求 获取返回值	
res=requests.get(url)
print(res)
#解析反馈内容
soup=BeautifulSoup(res.text,"html.parser")

# print("soup",soup)
#寻找标签
# url3=soup.find_all(iDetailData)
# print(url3)
url2=soup.find_all("div",class_="mod-detail-attributes mod-info mod")[0]['data-feature-json']
# print(url2)
#找到data-tfs-url所对应的网址desc-lazyload-container
url1=soup.find_all("div",class_="desc-lazyload-container")[0]['data-tfs-url']


#发送请求 获取返回值
res=requests.get(url1)
print("res",res)

#再次解析反馈内容
soup1=BeautifulSoup(res.text,"html.parser")
print(soup1)


#获取img
img1=soup1.find_all("img")
mp41=soup1.find_all("mp4")
#print(img1)
print(mp41)
result = []
for i in img1:
    a = re.findall(r'src=.*.jpg',str(i))
    result.append(a[0][7:])
    # print(result)
n=0
import os
if not os.path.exists("d:\\img"):
    os.mkdir("d:\\img")
for y in result:
    res2 = requests.get(y)
    # print(res2.content)
    
    with open("d:\\img\\"+str(n)+".jpg","wb+") as file:
        file.write(res2.content)
        print("第%d张下载完成" %(n))
        n+=1    

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 首先,你需要安装 `requests` 和 `BeautifulSoup` 库。你可以使用 `pip` 命令来安装它们: ``` pip install requests pip install beautifulsoup4 ``` 然后,你可以使用 `requests` 库发送 HTTP 请求来获取网页的 HTML 内容: ```python import requests URL = 'http://www.example.com' response = requests.get(URL) html = response.text ``` 接下来,你可以使用 `BeautifulSoup` 库解析 HTML 内容,找到你想要的视频标签。例如,如果你想要找到所有的 `<video>` 标签,你可以这样做: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser') video_tags = soup.find_all('video') ``` 这样,你就可以使用 `video_tags` 列表来遍历所有的视频标签了。 你也可以使用 `find()` 方法来查找特定的标签,或者使用 `select()` 方法来使用 CSS 选择器来查找标签。 例如,如果你想要找到所有的 `<video>` 标签,并且这些标签中有一个 `class` 属性为 `video-player` 的,你可以这样做: ```python video_tags = soup.select('video.video-player') ``` 你也可以使用 `find()` 方法来查找第一个匹配的标签,或者使用 `find_all()` 方法来查找所有匹配的标签。 例如,如果你想要找到第一个 `<video>` 标签,你可以这样 ### 回答2: 要用Python的requests库和BeautifulSoup库爬取网页子标签中的视频,首先需要安装这两个库。 首先,在命令行(或终端)中输入以下命令来安装requests库: ``` pip install requests ``` 然后,输入以下命令来安装BeautifulSoup库: ``` pip install beautifulsoup4 ``` 安装完成后,就可以开始使用这两个库来爬取网页中子标签中的视频了。 首先,使用requests库发送GET请求,获取网页的内容。例如,可以使用以下代码获取网页内容: ```python import requests url = "http://example.com" # 替换为实际的网页URL response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: html = response.text else: print("请求失败") ``` 接下来,使用BeautifulSoup库来解析网页内容,并找到包含视频的子标签。例如,可以使用以下代码来找到包含视频的子标签: ```python from bs4 import BeautifulSoup # 解析网页内容 soup = BeautifulSoup(html, 'html.parser') # 找到包含视频的子标签 video_tags = soup.find_all('video') # 根据子标签类型进行修改,如img、audio等 # 输出找到的视频标签信息 for video_tag in video_tags: print(video_tag['src']) # 输出视频的src属性值 ``` 以上代码中,使用`soup.find_all('video')`找到了所有的video标签,并使用`video_tag['src']`获取视频的src属性值。 通过以上步骤,就能够使用Python的requests库和BeautifulSoup库爬取网页子标签中的视频了。需要根据实际需求对代码进行修改,并确保网页的访问权限和网页结构的可预测性。 ### 回答3: 要使用Python的requests库和BeautifulSoup库爬取网页子标签中的视频,首先需要安装这两个库。可以使用pip命令进行安装: ``` pip install requests pip install beautifulsoup4 ``` 接下来,我们可以通过requests库发送HTTP请求来获取网页的内容。使用get方法可以发送GET请求,传入目标网页的URL作为参数。例如,我们可以通过下面的代码获取一个网页的内容: ```python import requests url = 'https://example.com' response = requests.get(url) content = response.text ``` 然后,我们可以使用BeautifulSoup库来解析网页的内容,提取子标签中的视频。首先需要将网页内容传递给BeautifulSoup的构造函数,再使用find方法或find_all方法来查找特定标签。例如,如果想要提取所有的视频标签,可以使用下面的代码: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(content, 'html.parser') videos = soup.find_all('video') ``` 通过上述代码,将返回一个列表videos,其中包含了所有的视频标签。 最后,如果想要进一步处理视频,可以通过遍历videos列表,使用视频标签的属性或方法来获取视频的相关信息,例如视频链接、标题等等。 综上所述,使用Python的requests库和BeautifulSoup库爬取网页子标签中的视频,首先发送HTTP请求获取网页内容,然后使用BeautifulSoup解析网页内容,最后提取视频标签并进一步处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

管火火火

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值