python爬虫---批量分享链接保存/百度api

最新推荐文章于 2023-03-20 10:19:19 发布
最新推荐文章于 2023-03-20 10:19:19 发布
阅读量1.9k 收藏 6
点赞数
分类专栏： python编程 爬虫 百度网盘 文章标签： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MANX98/article/details/101762226
版权

参考文章：

百度网盘开放平台：https://pan.baidu.com/union/document/entrance

第三方百度百度网盘库（baidupcsapi）：
https://github.com/ly0/baidupcsapi

import requests
import json
import re
import queue
import os
import time
from tqdm import tqdm
from  selenium.webdriver import ChromeOptions
from  selenium.webdriver import Chrome
def convert_cookie(chrome_cookie):
    """从chrome.get_cookies()中获取必要cookie信息
    
    :param chrome_cookie: chrome_cookie:由selenium产生的cookie
    :return: 返回为string，cookie字符,供requests使用
    """
    cookie = ""
    for i in chrome_cookie:
        if ("BDUSS" == i['name']):
            cookie += "BDUSS=" + i['value'] + ";"
        if ("STOKEN" == i['name']):
            cookie += "STOKEN=" + i['value'] + ";"
        if ("BDCLND" == i['name']):
            cookie += "BDCLND" + i['value'] + ";"
    return cookie

def check_file(cookie,filename):
    """检查文件是否被被存储
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到
    :param filename: 查询的文件名
    :return: True已被存储，False没有被存储
    
    """
    F = search_file(cookie,filename)
    if(len(F)!=0):
        return True
    else:
        return False

def save_share(cookie,url,password=None,path=""):
    """保存分享链接（注意：cookie必须包含BDCLND（当浏览器保存一次分享链接后会在cookie中出现））
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到
    :param url: 分享链接的完整地址
    :param password: 链接提取码
    :param path: 保存路径（绝对路径）
    :return: 0 储存成功， 1 分享链接错误，12 文件保存失败（储存空间不足），-21 链接失效，-9 pwd错误。
    """
    R = r'pan.baidu.com/s/1(\S+)'
    try:
        surl = re.findall(R,url)[0]
    except:
        return 1
    """外链验证"""
    url = "https://pan.baidu.com/share/verify?surl=" + surl
    data = {
            "pwd": password,
        }
    params = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
            'Referer':'pan.baidu.com'
        }
    r=requests.post(url,data=data,headers=params)
    JS = json.loads(r.content)
    """外链验证结果"""
    if(JS['errno']!=0):
        return JS['errno']
    sekey=JS['randsk']
    """获取链接信息"""
    url="https://pan.baidu.com/share/list?shareid={0}&shorturl={1}&sekey={2}&root=1".format('',surl,sekey)
    r=requests.get(url,headers=params)
    file = json.loads(r.content)
    """提取fsid列表"""
    fsid=[]
    if(file['errno']!=0):
        return file['errno']
    for i in file['list']:
        fsid.append(eval(i['fs_id']))
    """转储必要信息为字典"""
    url = "https://pan.baidu.com/share/transfer?shareid={0}&from={1}&sekey={2}".format(file['share_id'],file['uk'],JS['randsk'])
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
    }
    header['cookie'] = cookie
    post = {
        'fsidlist': json.dumps(fsid),
        'path':path
    }
    try:
        Z = requests.post(url, headers=header, data=post).text
        r = json.loads(Z)
    except:
        red(Z)
        return -100
    if(r['errno']==12):
        for i in file['list']:
            if(check_file(cookie,i['server_filename'])==False):
                M = check_free(cookie)
                M = (M['total'] - M['used'])/1024/1024/1024
                if(M>20):
                    return -100
                else:
                    return 12
        return 0
    return r['errno']

def load_cookie():
    """加载本地cookie

    :return: 返回为储存在本地的chrome cookie
    """
    Cookie = []
    try:
        with open('Cookie.json', 'r', encoding='utf-8') as f:
            for i in json.loads(f.read()):
                try:
                    del i['expiry']
                except:
                    pass
                Cookie.append(i)
    except:
        print('加载Cookie失败！')
    return Cookie

def get_file_name(file_name="", Char=""):
    """去除文件夹的名称中的不合法字符为Char，默认为空

    :param Char:替换成的字符
    :param file_name: 
    :return: 
    """
    for i in '<>|*?,/:':
        file_name = file_name.replace(i, Char)
    return file_name

def build_chrome(cookie=None):
    """构建浏览器

    :param cookie: selenium list类型的cookie
    :return: 返回构建完成的chrome浏览器
    """
    chrome_options = ChromeOptions()
    chrome = Chrome(chrome_options=chrome_options)
    chrome.get('http://pan.baidu.com')
    if (cookie != None or cookie != []):
        for i in cookie:
            try:
                del i['expiry']
            except:
                pass
            chrome.add_cookie(i)
    chrome.refresh()
    return chrome

def load_url_list():
    """加载本地分享链接数据(百度分享链接.txt)

    :return: 返回list类型的链接列表
    """
    data = []
    try:
        with open("百度分享链接.txt", 'r', encoding='utf-8') as f:
            for i in f.read().split('\n'):
                i=i.replace('?','')
                F = i.split('|')
                F[0]=get_file_name(F[0])
                data.append(F)
        print("加载数据成功！\n共计 {0}条".format(len(data)))
    except:
        print("加载数据失败！")
    return data

def create_folder(cookie, path, isdir=1):
    """创建文件/文件夹

            :param path:文件绝对路径（含需要创建文件/目录）

            :param isdir: 0 文件、1 目录
            
            :return 返回创建好的文件的绝对路径
            """
    data = {
        "path": '/' + path,
        "isdir": isdir,
        "size": "",
        "block_list": "[]",
        "method": "post"
    }
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
        # 'cookie':'BDUSS=lyS3lOWVg4VjIxbmNOeWFUTnhqd3Z2NX5meE1nc0VoWVgyOEx6dXNkY2NySnhkRVFBQUFBJCQAAAAAAAAAAAEAAAA1bYmSaWhiNTQyAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABwfdV0cH3VdR3; STOKEN=9a1a4c2ca3a9711e77da92afd089f69a1732ef786a77488c38f12397e21c4103; '
    }
    header['cookie'] = cookie
    url = "https://pan.baidu.com/api/create?a=commit&channel=chunlei&app_id=250528"
    r = requests.post(url=url, headers=header, data=data).text
    return json.loads(r)['path']

def delete_files(cookie,path):
    """删除文件
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到
    :param path: 这个为要删除的文件的绝对路径（可以传递路径列表，也可以传递单一 string绝对路径）
    :return: 返回errno，目前没有意义
    """
    url = 'https://pan.baidu.com/api/filemanager?opera=delete&async=2&onnest=fail&channel=chunlei&web=1&app_id=250528&clienttype=0'
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer':'pan.baidu.com'
    }
    header['cookie'] = cookie
    if(type(path)!=list):
        filelist = [path]
    else:
        filelist = path
    data={
    'filelist': json.dumps(filelist)
    }
    r = requests.post(url=url,data=data,headers = header).text
    return  json.loads(r)['errno']

def share_files(cookie,fid_list, pwd, days=7):
    """创建分享
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到
    :param fid_list: 文件id列表
    :param pwd:  分享密码（4位不同的数字或字母）
    :param days: 外链有效期，0 永久、1 1天、7 7天，默认0
    :return: 响应
    """
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
    }
    header['cookie']=cookie
    url = "https://pan.baidu.com/share/set?channel=chunlei&clienttype=0&web=1&channel=chunlei&web=1&app_id=250528&clienttype=0"
    data = {
        'schannel': '4',
        'channel_list': json.dumps([]),
        'period': days,
        'pwd': pwd,
        'fid_list': json.dumps(fid_list)
    }
    r = requests.post(url=url, headers=header, data=data).text
    return json.loads(r)

def convert_size(number):
    """转换网盘容量

            :param number: 整数

            :return: 返回string
            """
    if (number < 1024):
        return '{0:.2f} Byte'.format(number)
    number /= 1024
    if (number < 1024):
        return '{0:.3f} KB'.format(number)
    number /= 1024
    if (number < 1024):
        return '{0:.3f} MB'.format(number)
    number /= 1024
    if (number < 1024):
        return '{0:.3f} GB'.format(number)
    number /= 1024
    return '{0:.3f} TB'.format(number)

def user_name(cookie):
    """获取用户信息（测试cookie有效性）
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到
    :return: 用户名
    """
    url = 'https://passport.baidu.com/center'
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
    }
    header['cookie'] = cookie
    r = requests.get(url=url, headers=header).content.decode('utf-8')
    f = re.findall(r'"displayUsername"\s+title="(.*?)">', r)
    return f[0]

def check_free(cookie):
    """获取网盘容量
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到
    :return: 结果例子：{"errno":0,"total":2204391964672,"request_id":5929092093134126170,"expire":null,"used":2203832252091}
    """
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
    }
    header['cookie'] = cookie
    page = requests.get('https://pan.baidu.com/api/quota?chckfree=1&checkexpire=1', headers=header).text
    return json.loads(page)

def get_file_list(cookie, path="/"):
    """获取用户文件列表
    
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到       
    :param path: 获取文件路径   
    :return: 返回None为失败
    """
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
    }
    header['cookie'] = cookie
    header['dir'] = path
    url = 'https://pan.baidu.com/api/list?'
    r = requests.get(url=url, headers=header).content.decode('utf-8')
    F = None
    try:
        F = json.loads(r)
    except:
        pass
    return F['list']

def search_file(cookie,file_name):
    """文件搜索

    :param file_name: 搜索的关键字
    :param cookie: 由get_cookie()函数转换chrome得到，或者通过浏览器抓包得到  
    :return: 返回：file_list
    结果:[{'category': 6, 'unlist': 0, 'isdir': 1, 'oper_id': 1066838869, 'server_ctime': 1568999679, 'local_mtime': 1568999679, 'size': 0, 'server_filename': '\ufeff《死在文兰DeadInVinland》中文版nsp下载', 'share': 0, 'path': '/\ufeff《死在文兰DeadInVinland》中文版nsp下载', 'local_ctime': 1568999679, 'server_mtime': 1568999679, 'fs_id': 99524860442047}]
    """
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36',
        'Referer': 'pan.baidu.com'
    }
    header['cookie'] = cookie
    url = 'https://pan.baidu.com/api/search?key={0}'.format(file_name)
    r = requests.get(url=url, headers=header).content.decode('utf-8')
    return json.loads(r)['list']

def save_chrome_cookie(cookie):
    """保存Cookie到本地

    :param cookie: selenium产生的cookie 
    :return: 返回bool类型值，true成功，false失败
    """
    try:
        with open('Cookie.json', 'w', encoding='utf-8') as f:
            f.write(json.dumps(cookie))
        return True
    except:
        return False

def Blue(text,T=False):
    """背景蓝
    
    :param text: 
    :param T: 是否换行
    :return: 
    """
    if(T):
        print("\033[1;46m{0}\033[0m".format(text),end="")
    else:
        print("\033[1;46m{0}\033[0m".format(text))

def blue(text,T=False):
    """蓝字
    
    :param text: 
    :param T: 是否换行
    :return: 
    """
    if(T):
        print("\033[1;36m{0}\033[0m".format(text),end="")
    else:
        print("\033[1;36m{0}\033[0m".format(text))

def Green (text,T=False):
    """背景绿
    
    :param text: 
    :param T: 是否换行
    :return: 
    """
    if (T):
        print("\033[1;42m{0}\033[0m".format(text), end="")
    else:
        print("\033[1;42m{0}\033[0m".format(text))

def green (text,T=False):
    """绿字
    
    :param text: 
    :param T: 是否换行
    :return: 
    """
    if (T):
        print("\033[1;32m{0}\033[0m".format(text), end="")
    else:
        print("\033[1;32m{0}\033[0m".format(text))

def yellow(text,T=False):
    """黄字
    
    :param text: 
    :param T: 是否换行
    :return: 
    """
    if (T):
        print("\033[1;33m{0}\033[0m".format(text), end="")
    else:
        print("\033[1;33m{0}\033[0m".format(text))

def red(text,T=False):
    """红字
    
    :param text: 
    :param T: 是否换行
    :return: 
    """
    if (T):
        print("\033[1;31m{0}\033[0m".format(text), end="")
    else:
        print("\033[1;31m{0}\033[0m".format(text))

def code(code):
    if(code==-21):
        return "分享的文件已经被取消"
    if (code ==12):
        return "储存已满"
    if (code ==105):
        return "外链地址错误"
    if (code ==-12):
        return "参数错误"
    if (code ==-9):
        return "pwd错误"
    if (code ==110):
        return "文件命中频控策略"
    if (code ==-7):
        return "shareid不存在"
    if (code ==115):
        return "文件命中黑名单禁止分享"
    if (code ==-70):
        return "分享文件存在病毒"
    if (code ==0):
        return "成功"
    if(code==-100):
        return "文件过大"
    if(code==1):
        return "错误链接"
    return str(code)
def safe_writer(f,i):
    if(i==[]):
        return 
    if(len(i)==1):
        f.write(i[0]+"||\n")
    elif(len(i)==2):
        f.write(i[0]+"|"+i[1]+"|\n")
    else:
        f.write(i[0]+"|"+i[1]+"|"+i[2]+"\n")

url = load_url_list()
C = load_cookie()
chrome = build_chrome(cookie=C)
input("继续:")
cookie = convert_cookie(chrome.get_cookies())
save_chrome_cookie(chrome.get_cookies())
FF = True
count =1
size = len(url)
for i in url:
    G = None
    if(len(i)!=1):
        try:
            print("链接：{0}\n进度：{1}/{2} = {3:.2f}%".format(i[1],count,size,count*100/size))
        except:
            print("ERROR_Mage:{0}".format(i))
    else:
        continue
    count+=1
    if(FF):
        if(len(i)==3):
            G = create_folder(cookie=cookie,path=i[0])
            C = save_share(cookie=cookie, url=i[1], password=i[2], path=G)
        else:
            print("错误链接！")
            with open('BAD_URL.txt', 'a', encoding='utf-8') as f:
                safe_writer(f, i)
            print('')
            continue
        print("文件", end='    ')
        print(i[0], end='    ')
        print("存储在", end='    ')
        print(G)
        print("状态：",end='  ')
        print(code(C))
        print("")
        if (C == 0):
            continue
        if (C == -100):
            with open('BIG_FILE.txt', 'a', encoding='utf-8') as f:
                safe_writer(f,i)
        elif (C == -9):
            with open('pwd错误.txt', 'a', encoding='utf-8') as f:
                safe_writer(f, i)
        else:
            with open('BAD_URL.txt', 'a', encoding='utf-8') as f:
                safe_writer(f, i)
        delete_files(cookie, G)
    else:
        with open('NO_SAVE.txt','a',encoding='utf-8') as f:
            safe_writer(f, i)
        continue
    if(C == 12 and FF==True):
        FF = False
        print("写入NO_SAVE.txt")
input("退出：")
chrome.quit()
MANX98
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
标题：【探索无限可能】利用Python3打造的百度网盘API利器——baidupcsapi
gitblog_00077的博客
05-14 505
标题：【探索无限可能】利用Python3打造的百度网盘API利器——baidupcsapi 项目地址:https://gitcode.com/ly0/baidupcsapi 亲爱的开发者们，今天我们将向您介绍一款强大的开源工具，它能让您以全新的方式与百度网盘互动——那就是baidupcsapi，一个完全免费、基于Python3的百度网盘API库。无论是进行数据管理，还是开发新的应用，这款API都...
百度网批量分享工具
05-10
百度网盘批量分享工具多账号版 此款软件是一款是集聚关键词采集，批量导入账号，批量导入关键词， 同一文件，全自动批量改名，批量上传，批量分享，批量导出分享链接。
Python批量转存百度网盘资源
qq_52525445的博客
03-20 1955
使用Pyhon脚本实现百度网盘分享链接的批量转存功能
python资源百度云_Python Selenium 百度云分享链接资源 批量保存
weixin_39872624的博客
11-24 162
[Python] 纯文本查看 复制代码# -*- coding: UTF-8 -*-from docx import Document #安装 pip install python-docximport refrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimpor...
Python 爬取百度网盘所有热门分享文件
emprere的博客
06-22 818
今天浏览微信公众号，看到一篇关于Python爬虫的文章，很有意思，动手实现了一下作者的实验，下面是详细的实现步骤：运行环境：MySQLPython2.7MySQL-Py...
python爬虫爬百度云盘的资源
肥基姆的博客
12-05 1万+
 最近百度云盘不知道为啥不提供资源检索，正好最近看了一下python，正好来练练手，写歌爬虫爬一下百度云盘的资源。 分析了一下百度云盘的网友源码和js文件，里面有大量ajax的东西，利用json传输数据，前端显示。话说，这样数据爬去就方便多了，也不要用scrapy啥的，直接解析json数据就好。 分析js文件提炼了下面三个链接： URL_SHARE = 'http://yun.bai
Python源码实例-二维码生成器.zip
11-30
8. **网络爬虫**：在进行网页抓取时，有时网站会通过二维码提供隐藏或受限的链接，使用Python二维码生成器可以方便地解析和访问这些链接。 9. **游戏开发**：在游戏开发中，二维码可用于游戏内购买、解锁隐藏内容、...
BaiduExporter-master_BaiduDiskTool_zip_
09-30
- 获取文件信息：使用`api.py`模块调用百度网盘的API，获取文件列表、文件大小、分享链接等信息。 - 下载链接生成：解析文件链接，生成可供第三方下载工具使用的直链。 - 开始下载：将直链传递给下载管理器`...
URL-Shortener:天真的Web爬虫的实现。 它是用来收集网址的
05-23
标题中的“URL-Shortener”指的是一个用于将长网址转换为短网址的系统，这种服务在互联网上广泛使用，以方便分享和记忆复杂的链接。它通常由两部分组成：一个前端用户界面，允许用户输入长网址并获取短网址，以及一...
百度文库文章标题获取
07-10
最后，这个项目中提到的"标题软件"可能是指作者编写的用于实现以上功能的Python脚本，它可能是用来批量处理多个链接，生成报告或保存数据到文件的工具。如果这个软件开源，那么它对于学习Python爬虫和网页抓取技术的...
python 抓取百度云分享数据,百度云最新接口抓取分享链接
11-16
python 抓取百度云分享数据,百度云最新接口抓取分享链接。
e621dl:适用于e621.net和（可能）其他booru网站的Python驱动下载器
05-11
**e621dl: Python驱动的e621.net下载器** e621dl是一个专门设计用于从e621.net下载图像的Python工具，...它的存在为e621.net的用户提供了便捷的下载体验，同时也为Python初学者提供了学习网络爬虫和API使用的好例子。
百度云盘批量转存工具使用教程
mobclix的博客
02-22 1万+
百度云盘批量转存工具使用教程
百度云盘批量转存工具
mobclix的博客
02-22 3432
百度云盘批量转存工具 2022/2/22
python下载百度网盘文件-python通过百度云api的方式上传或下载文件
weixin_37988176的博客
11-01 2815
2、编写一个脚本实现长传图片，命名为：pic_upload.pyimport progressbarfrom baidupcsapi import PCSclass ProgressBar():def __init__(self):self.first_call = Truedef __call__(self, *args, **kwargs):if self.first_call:self.wi...
百度网盘上下载文件，调用api接口的请求方式和参数
dazhi0529的博客
03-07 4226
REST api 功能：下载单个文件。 Download接口支持HTTP协议标准range定义，通过指定range的取值可以实现断点下载功能。 例如： 如果在request消息中指定“Range: bytes=0-99”，那么响应消息中会返回该文件的前100个字节的内容；继续指定“Range...
【百度】怎么使用cookie登陆百度账号
热门推荐
学习永不晚
08-28 8万+
很多浏览器地址栏有搜索功能，可能无法使用 进入百度贴吧界面，按F12，呼出下方界面，选择Console选项，然后再下面粘贴登录代码，然后回车，再刷新界面，就登录成功了！ javascript:document.cookie="BDUSS=DBTN3JBb0t5UWp*************8xole~MaJXN"; 亲测谷歌、火狐可用。 ...
Baidu云盘【文件API】接口学习 『一』
ydcun知识点积累
05-28 3万+
这几天很有兴致的学习了百度云盘文件API接口的使用；初步是想做一个在线android应用，应用中的文档是存放在百度云盘的。 主要是分一下几个步骤： 1.注册百度账号 2.登录百度开发者中心 3.创建移动应用，获取对应的（API Key   Secret Key） 4.开通pcs API权限 5.获取ACCESS_token(认证编码) 6.开发应用 注意： 开通移动应
python爬虫--房产数据爬取并保存本地
最新发布
06-08
好的，我可以为您介绍一下如何使用 Python 爬虫来爬取房产数据并保存到本地。 首先，您需要选择一个合适的网站来进行爬取。例如，可以选择链家网、安居客等房产网站。然后，您需要分析该网站的页面结构和数据请求方式，确定需要爬取哪些数据，以及如何获取这些数据。 接着，您可以使用 Python 的 requests 库来发送 HTTP 请求，获取网页内容。然后，可以使用 BeautifulSoup 库来解析网页内容，提取需要的数据。 最后，您可以使用 Python 的 Pandas 库将数据保存到本地的 Excel 或 CSV 文件中。以下是一个示例代码： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 发送 HTTP 请求获取网页内容 url = 'https://bj.lianjia.com/ershoufang/' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') # 解析网页内容，提取需要的数据 house_list = soup.find_all('div', {'class': 'info'}) data = [] for house in house_list: name = house.find('div', {'class': 'title'}).text.strip() price = house.find('div', {'class': 'price'}).text.strip() area = house.find('div', {'class': 'houseInfo'}).text.strip() data.append([name, price, area]) # 将数据保存到本地文件 df = pd.DataFrame(data, columns=['名称', '价格', '面积']) df.to_excel('house_data.xlsx', index=False) ``` 这是一个简单的示例代码，您可以根据您需要爬取的数据和网站的不同来进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值