爬虫练习-荔枝直播（分享页）

最新推荐文章于 2023-12-05 15:29:52 发布
最新推荐文章于 2023-12-05 15:29:52 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： Spider 文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baby_hua/article/details/118970944
版权

荔枝直播（分享页）：

分享页主页直播列表：（抓包分析）

  • 接口：https://appweb.lizhi.fm/smallApp/getLiveList?pageNum=1
  • 支持获取n页数据，注意请求间隔；
  • get请求，获取分享页必须的 liveId 字段

直播分享页：

  • html：https://appweb.lizhi.fm/live/share?liveId=5190925580233002038&njId=2552360964061657132&duserId=138542e7ea551a918c42396e0488695b&from=iosBrowser
  • 中间两个参数非必须
  • get请求，获取 uid 及 liveUrl 字段
  • 该页面请求时需设置移动端User-Agent
  • ‘User-Agent’:‘Mozilla/5.0 (iPhone; CPU iPhone OS 14_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148’

编码实现：


import requests
import time
import json
import re

class LiveList(object):

    def __init__(self, pageLimit=10):
        self.liveList = []
        self.pageLimit = pageLimit
    
   
    def getLiveListPage(self, pageNum=1):
        url = 'https://appweb.lizhi.fm/smallApp/getLiveList?pageNum=' + str(pageNum)
        print(url)
        time.sleep(1)
        response = requests.get(url)
        response.encoding = 'utf-8'
        
        infos = {}
        try:
            infos = json.loads(response.text)
        except Exception as e:
            print(e)
            infos = {}
            infos['ret'] = {}
            infos['ret']['dataList'] = []            
        
        return (len(infos['ret']['dataList']), infos['ret']['dataList'])
    
    def getLiveListPages(self):
        cur_page = 1
        cur_len = 10
        
        while cur_len > 0:
            if cur_page > self.pageLimit:
                break
            page_len, page_liveList = self.getLiveListPage(cur_page)
            cur_len = page_len
            self.liveList.extend(page_liveList)
            cur_page = cur_page + 1
    
        return self.liveList
    
def parseRegular(param="liveUrl"):
    liveUrl_r = param + r' = \"([^;]*)\";' 
    liveUrl_b = re.compile(liveUrl_r ,  re.DOTALL)
    return liveUrl_b
    

def parseShareURL(liveId):
    url1 = "https://appweb.lizhi.fm/live/share?liveId=" + liveId + "&from=iosBrowser"
    headers = {
        'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 14_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
    }
    response_1=requests.get(url1, headers=headers)
    time.sleep(1)
    response_1.encoding='utf-8'
    
    liveUrl = parseRegular('liveUrl').findall(response_1.text)
    userId = parseRegular('userId').findall(response_1.text)
    
    if len(liveUrl) > 0:
        return {"liveUrl":liveUrl[0],"userId":userId[0]}
    else:
        return None

if __name__ == '__main__':
#     建议：每隔1h进行一次刷新

#     获取1页数据
    liveListObj = LiveList(1)
    liveList = liveListObj.getLiveListPages()
#     打印5页数据的直播记录数
    print('liveList count = ',len(liveList))  
    
#     最终结果保存数组
    final_res = []
#     遍历直播记录
    for liveItem in liveList:
        print(liveItem['liveId'])
#         解析当前直播分享页
        userInfo = parseShareURL(liveItem['liveId'])
        if userInfo is None:
            print("直播已结束！")
        else:
            print('直播中...')
            final_item = {**liveItem, **userInfo} 
            final_res.append(final_item)
#     打印最终结果
    print(len(final_res),final_res)
#     结果存入本地json
    with open('liveList.json','w') as file_obj:
        json.dump(final_res,file_obj)
    
    print('over!!!')

Print:


https://appweb.lizhi.fm/smallApp/getLiveList?pageNum=1
liveList count =  10
5190925580233002038
直播中...
5386445300058660864
直播中...
5190898481141075510
直播中...
5190925580232704054
直播中...
5190925580233034294
直播中...
5190898481140796470
直播中...
5342496960865640448
直播中...
5386670725150109696
直播中...
5190898481141102646
直播中...
5190899559177836086
直播中...
10 [{'radioConver': 'http://cdnimg103.lizhi.fm/studio/2020/09/21/2829150432296549942.jpg', 'liveStatus': 1, 'totalCount': '25309', 'liveName': '大凯故事会', 'userName': '大凯说', 'liveId': '5190925580233002038', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2017/05/22/2603223407410991618_80x80.jpg', 'liveStartTime': 1626847200000, 'liveEndTime': 1626861600000, 'tag': '', 'liveUrl': 'http://pull102.gzlz307.com/home/6d944f6ab72b3d069517146587a23c39/playlist.m3u8?only-audio=1', 'userId': '2552360964061657132'}, {'radioConver': 'http://cdnimg103.lizhi.fm//studio/2021/07/14/2884134180267993654.jpg', 'liveStatus': 1, 'totalCount': '3154', 'liveName': '日常的午后尬聊', 'userName': '搞事儿ღ 养声糖', 'liveId': '5386445300058660864', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2020/07/26/2818635229221560322_80x80.jpg', 'liveStartTime': 1626856200000, 'liveEndTime': 1626861600000, 'tag': '脱口秀', 'liveUrl': 'http://pull102.gzlz307.com/home/94aa9ab2951090660da928e2418e5a76/playlist.m3u8?only-audio=1', 'userId': '14298657'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2020/10/19/2834415944099236918.jpg', 'liveStatus': 1, 'totalCount': '10128', 'liveName': '性感男神在线直播', 'userName': '王帅帅☀幸好有你', 'liveId': '5190898481141075510', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2021/04/25/2869209908380339202_80x80.jpg', 'liveStartTime': 1626854400000, 'liveEndTime': 1626856200000, 'tag': '', 'liveUrl': 'http://pull102.gzlz307.com/home/aef22384abe68f32729d855ee12b99bc/playlist.m3u8?only-audio=1', 'userId': '2545439804331933740'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/07/05/2882414548083745334.jpg', 'liveStatus': 1, 'totalCount': '11968', 'liveName': '百变老舅正在直播', 'userName': '老舅⁹ 招主播', 'liveId': '5190925580232704054', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2021/07/05/2882441263372247554_80x80.jpg', 'liveStartTime': 1626854419000, 'liveEndTime': 1626861619000, 'tag': '脱口秀', 'liveUrl': 'http://pull102.gzlz307.com/home/2b5aa92a75c9a6b76fafebd6e38d218d/playlist.m3u8?only-audio=1', 'userId': '5086955461592188972'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/01/04/2848695138400300598.jpg', 'liveStatus': 1, 'totalCount': '2794', 'liveName': '夺宝、塔罗牌好运直播间❤️', 'userName': '墨子轩🍄招主播', 'liveId': '5190925580233034294', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2020/12/02/2842569104138020866_80x80.jpg', 'liveStartTime': 1626856200000, 'liveEndTime': 1626859800000, 'tag': '古风', 'liveUrl': 'http://pull102.gzlz307.com/home/02e57ae2959d3a3104caf23561438501/playlist.m3u8?only-audio=1', 'userId': '2555204161544508972'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/03/16/2861859265127815734.jpg', 'liveStatus': 1, 'totalCount': '1279', 'liveName': '今天也是圆气满满的一天鸭', 'userName': '٩🥳۶圆气满满鸭～🥀', 'liveId': '5190898481140796470', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2021/05/25/2874894204829581314_80x80.jpg', 'liveStartTime': 1626948000000, 'liveEndTime': 1626951600000, 'tag': '', 'liveUrl': 'http://pull102.gzlz307.com/home/6c9eec0f07b9d9c31ba9a63a090e42ad/playlist.m3u8?only-audio=1', 'userId': '5037691755063110188'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/06/18/2879319034757152310.jpg', 'liveStatus': 1, 'totalCount': '10569602', 'liveName': '恋行男友', 'userName': '恋行-高福利招人💝', 'liveId': '5342496960865640448', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2021/05/21/2874104725109944834_80x80.jpg', 'liveStartTime': 1621590400000, 'liveEndTime': 1624182400000, 'tag': '男友', 'liveUrl': 'http://pull102.gzlz307.com/home/3ceb87599a87bc1e7152ad4419faf21b/playlist.m3u8?only-audio=1', 'userId': '5023457267080509996'}, {'radioConver': 'http://cdnimg103.lizhi.fm//studio/2021/07/07/2882818898805649974.jpg', 'liveStatus': 1, 'totalCount': '1414', 'liveName': '甜妹求带飞上星星✨', 'userName': 'dy.奶糖_Jenny', 'liveId': '5386670725150109696', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2021/07/07/2882783128169811970_80x80.jpg', 'liveStartTime': 1626856323000, 'liveEndTime': 1626859923000, 'tag': '情感', 'liveUrl': 'http://pull102.gzlz307.com/home/1c158cec050b10c5545fef19be825eed/playlist.m3u8?only-audio=1', 'userId': '5022849964157813292'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/07/20/2885259126691449398.jpg', 'liveStatus': 1, 'totalCount': '24076', 'liveName': '♬.星辰音乐电台 --温暖治愈', 'userName': '星辰✨冠名LuLu👑', 'liveId': '5190898481141102646', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2020/09/14/2827924329089217026_80x80.jpg', 'liveStartTime': 1626856200000, 'liveEndTime': 1626867000000, 'tag': '连线', 'liveUrl': 'http://pull102.gzlz307.com/home/160aaf1435dd8720a197c69e98632035/playlist.m3u8?only-audio=1', 'userId': '2679352497711647276'}, {'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/05/24/2874608674803885622.jpg', 'liveStatus': 1, 'totalCount': '237', 'liveName': '🍷别拿豆包 不当干粮🍷', 'userName': 'DJ安哥🍷天籁', 'liveId': '5190899559177836086', 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2020/08/31/2825278312823928834_80x80.jpg', 'liveStartTime': 1626858000000, 'liveEndTime': 1626861600000, 'tag': '情感', 'liveUrl': 'http://pull102.gzlz307.com/home/c45cbdb813f2a0521b3a4d077033b373/playlist.m3u8?only-audio=1', 'userId': '5130700645405291820'}]
over!!!

得到记录信息：

{'radioConver': 'http://cdnimg103.lizhi.fm/studio/2021/05/24/2874608674803885622.jpg',
 'liveStatus': 1,
 'totalCount': '237',
 'liveName': '🍷别拿豆包 不当干粮🍷',
 'userName': 'DJ安哥🍷天籁',
 'liveId': '5190899559177836086',
 'userPortrait': 'http://cdnimg103.lizhi.fm/user/2020/08/31/2825278312823928834_80x80.jpg',
 'liveStartTime': 1626858000000,
 'liveEndTime': 1626861600000,
 'tag': '情感',
 'liveUrl': 'http://pull102.gzlz307.com/home/c45cbdb813f2a0521b3a4d077033b373/playlist.m3u8?only-audio=1',
 'userId': '5130700645405291820'}

多进程的优化

import concurrent.futures

group_max_workers = 5

def evaluate_item(tests):
    return tests

item_x_list = []
with concurrent.futures.ProcessPoolExecutor(
    max_workers=group_max_workers
) as executor:
    results = executor.map(evaluate_item, [[1,2,3,4,5],[2,2,3,4,5],[3,2,3,4,5],[4,2,3,4,5],[5,2,3,4,5],[6,2,3,4,5],[7,2,3,4,5],[8,2,3,4,5],[9,2,3,4,5],[10,2,3,4,5]])
    for result in results:
        item_x_list.extend(result)

print(item_x_list)

# [1, 2, 3, 4, 5, 2, 2, 3, 4, 5, 3, 2, 3, 4, 5, 4, 2, 3, 4, 5, 5, 2, 3, 4, 5, 6, 2, 3, 4, 5, 7, 2, 3, 4, 5, 8, 2, 3, 4, 5, 9, 2, 3, 4, 5, 10, 2, 3, 4, 5]

import requests
import time
import json
import re
import concurrent.futures

class LiveList(object):

    def __init__(self, pageLimit=10):
        self.liveList = []
        self.pageLimit = pageLimit
    
   
    def getLiveListPage(self, pageNum=1):
        url = 'https://appweb.lizhi.fm/smallApp/getLiveList?pageNum=' + str(pageNum)
        print(url)
        time.sleep(1)
        response = requests.get(url)
        response.encoding = 'utf-8'
        
        infos = {}
        try:
            infos = json.loads(response.text)
        except Exception as e:
            print(e)
            infos = {}
            infos['ret'] = {}
            infos['ret']['dataList'] = []            
        
        return (len(infos['ret']['dataList']), infos['ret']['dataList'])
    
    def getLiveListPages(self):
        cur_page = 1
        cur_len = 10
        
        while cur_len > 0:
            if cur_page > self.pageLimit:
                break
            page_len, page_liveList = self.getLiveListPage(cur_page)
            cur_len = page_len
            self.liveList.extend(page_liveList)
            cur_page = cur_page + 1
    
        return self.liveList
    
def parseRegular(param="liveUrl"):
    liveUrl_r = param + r' = \"([^;]*)\";' 
    liveUrl_b = re.compile(liveUrl_r ,  re.DOTALL)
    return liveUrl_b
    
def parseShareURL(liveId):
    url1 = "https://appweb.lizhi.fm/live/share?liveId=" + liveId + "&from=iosBrowser"
    headers = {
        'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 14_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
    }
    response_1=requests.get(url1, headers=headers)
#     time.sleep(0.5)
    response_1.encoding='utf-8'
    
    liveUrl = parseRegular('liveUrl').findall(response_1.text)
    userId = parseRegular('userId').findall(response_1.text)
    
    if len(liveUrl) > 0:
        return {"liveUrl":liveUrl[0],"userId":userId[0]}
    else:
        return None

def dealLiveItemForUserInfo(liveItem):
    userInfo = parseShareURL(liveItem['liveId'])
    if userInfo is None:
        print("直播已结束！")
        return None
    else:
        print('直播中...')
        final_item = {**liveItem, **userInfo} 
        return final_item
    
def dealLiveListAsFinalResWithWokers(liveList, max_works=5):
#     默认开启5个进程 并行处理 当前直播分享页 的解析
#     最终结果保存数组
    final_res = []
    with concurrent.futures.ProcessPoolExecutor(
        max_workers=max_works
    ) as executor:
        results = executor.map(dealLiveItemForUserInfo,liveList)
        for result in results:
            if result is not None:
                final_res.append(result)

    return final_res

def saveFinaleResJsonToLocalPath(final_res, l_path='liveList.json'):
    with open('liveList.json','w') as file_obj:
        json.dump(final_res,file_obj)

if __name__ == '__main__':
    pageLimit = 1
    liveListObj = LiveList(pageLimit)
    liveList = liveListObj.getLiveListPages()
    final_res = dealLiveListAsFinalResWithWokers(liveList, max_works=5)
    saveFinaleResJsonToLocalPath(final_res,'liveList.json')
    print('共请求 ' + str(pageLimit) + '页数据\n',
          '共获取 ' + str(len(liveList)) + '条主播记录\n',
          '共保存 ' + str(len(final_res)) + '条有效记录\n',
          'over!!!')

Log:

https://appweb.lizhi.fm/smallApp/getLiveList?pageNum=1
直播中...
直播中...
直播中...
直播中...
直播中...
直播中...
直播中...
直播中...
直播中...
直播中...
共请求 1页数据
 共获取 10条主播记录
 共保存 10条有效记录
 over!!!
baby_hua
关注
专栏目录
万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）
孤寒者的博客
08-05 53万+
万字博文教你爬虫必备-＞Selenium【详解篇】（初篇）
Python 爬虫入门 - Request 动态页面数据获取
Mr数据杨
05-29 4万+
通过本篇文章的学习已经掌握了从动态网页中抓取数据的基本技巧，包括分析Ajax请求、模拟请求获取数据、解析返回内容，以及使用MongoDB进行数据存储和处理的全流程。无论是针对简单的静态页面，还是复杂的动态网页现在都可以应对自如。通过这套方法不仅能够自动化地从网络上获取所需的数据，还可以为后续的数据分析和应用奠定坚实的基础。这一技能将为您在数据科学和Web开发领域开辟更广阔的应用前景。
荔枝FM下载工具
11-07
荔枝fm下载工具 填写ID和页码就能下载到本地
爬虫微课5小时 python学习路线-余强-专题视频课程
热门推荐
weixin_42562130的博客
07-10 5万+
此课程每堂课都有一个作业，包含的项目案例有 家长帮142600条数据爬取与分析，全球天气数据抓取与分析，淘宝商品信息数据众数分析，12306余票查询，python软件打包exe与发布。学完此课程能让你对整个数据爬取数据分析有一个全新的了解，适当的深入则可以做这方面的工作...
成佩涛-荔枝FM找回密码漏洞
10-05 3103
漏洞截图：
python爬虫练习2
咬咬牙 再来啊
03-21 282
https://blog.51cto.com/13992211/2353207
JS-判断设备是否是移动设备
wang704987562的博客
12-23 1412
使用JS判断设备是否是移动设备。 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title></title> </head> <body> </body> &a
User-Agent ios15.4 chrome91.0.4472.106（正式版本） （64 位）
涂睿的专栏
04-02 2453
iphone 7 15.4 Mozilla/5.0 (iPhone; CPU iPhone OS 14_8 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 chrome91.0.4472.106（正式版本） （64 位） Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,
爬虫练习-爬取新浪微博信息并生成词云图
莫莫先生的博客
02-08 4359
爬取新浪微博 "战疫情" 版块微博信息，并将信息内容存储为文本格式，且生成相应的词云图。
爬虫练习--爬取CNNVD相关漏洞
qinlingheshang的博客
06-07 6424
目标 从国家信息安全漏洞库（CNNVD）中爬取目标软件的相关漏洞，统计漏洞类型、危害等级、相关数量等，并进行可视化。 具体流程 构造URL，根据关键词爬取相关软件的漏洞信息，统计其数量和网页数 构造URL，一个一个网页的爬取，找到每个具体漏洞的链接，保存这些链接 根据每个具体漏洞的链接，爬取相关页面，用正则表达式和BeautifulSoup找到我们需要的链接。 代码实现 结果可视化...
Go基础学习笔记（二）：错误处理和资源管理、Goroutine、Channel、迷宫的广度优先搜索、http及其他标准库
hxt的博客
07-02 559
1）defer调用 2）何时使用defer调用 3）、服务器统一出错处理 项目根目录下有hello world.txt，访问http://localhost:8888/list/hello%20world.txt，返回hello world访问http://localhost:8888/list/，返回Not Found拷贝一个hello world2.txt文件，修改访问权限 访问http://localhost:8888/list/hello%20world2.txt，返回Forbidden1）
android智能电视直播源抓取教程,求人不如求己，教你自己抓取直播源的方法！...
weixin_39662228的博客
05-27 5562
小编平时在家基本是下载个直播软件用盒子看直播，不过要是想看些港澳台，或者是欧美的频道就得自己找直播源了，网上网友分享的直播源很多，但是能长时间有效的少，而且清晰度也不能保证，那么问题来了，自己抓直播源可行否?经过研究，我总结了一整套秘籍，现传功给各位～这套抓直播源的方法简单易学。再也不用担心找不到自己想看的节目!一切直播频道，都可以自己抓到首先，你需要下载安装一个软件，是安装在pc端的软件，抓源过...
如何带甜妹打游戏？
weixin_35752233的博客
12-17 69
带女友玩游戏是一件非常有趣的事情。如果你想带女友一起玩游戏，有几点建议可以帮助你更好地享受这个过程： 选择她喜欢的游戏：尽量选择她喜欢的游戏，这样她才会更感兴趣。 解释游戏规则：如果她不熟悉游戏，那么你需要向她解释游戏规则。让她了解游戏的基本流程，这样她就能更快地掌握游戏。 保持耐心：在玩游戏时，可能会有一些困难或者挫折。这时，你需要保持耐心，帮助她克服困难，让她感受到你的陪伴和支持。 互...
荔枝FM语音批量下载
最新发布
qq_55796594的博客
12-05 383
支持荔枝FM的免费资源下载，尊重音频版权，不要用于商业传播。被网上的下载器坑怕了，想收我的钱，没门，我自己写一个。
selenium之用chrome的Mobile emulation模拟手机浏览器测试手机网页
LYX_WIN
09-02 2848
很多人发现chrome有项功能，就是在开发者工具里能够模拟手机打开网页，便想能否用selenium对此进行自动化测试。答案当然是yes！ 今天博主便给大家分享下如何用chrome的MobileEmulation实现手机网页自动化测试。 1. 第一种方法 第一种方法是通过device name来确定我们要模拟的手机样式，示例代码如下： # -*- coding: utf-8 -*- from selenium import webdriver from time import sleep mo
爬去微信小程序服务器代码,Python爬取微信小程序通用方法代码实例详解
weixin_29383401的博客
08-07 1372
背景介绍最近遇到一个需求，大致就是要获取某个小程序上的数据。心想小程序本质上就是移动端加壳的浏览器，所以想到用Python去获取数据。在网上学习了一下如何实现后，记录一下我的实现过程以及所踩过的小坑。本文关键词：Python，小程序，Charles抓包目标小程序：公众号“同城商圈网”左下角“找商家”->汽车维修->小车维修->所有的商家信息，如下图所示：环境PC端：Windows...
swift - WKWebView api功能分析
SCDNBB的博客
01-26 4249
WKWebView 参考文章 (https://github.com/wszxy/WKWebViewCookie/tree/7861c27af73ba8522dca36cc0dee218d133ba0da) 工程文件 https://www.dropbox.com/sh/qghyu9xho6cgqfl/AAAf0QMjnGnJXhGAFYfLSXnAa?dl=0 WKWebViewConfiguration 用户代理字符串中使用的应用程序的名称 （不明白) open var applicationNameF
卧底付费专栏盗版群一个月，我们聊聊付费内容的地下黑产
hackeey的博客
08-31 2万+
是的，我在某宝买了盗版的全套『得到』专栏资源。 这当然绝不光荣。尤其是我自己就是一个籍籍无名的内容自媒体，自然更知道内容创业者的不易。而我要在此声明，如果各位读者喜欢某大 V 或想要学习、提升自己，请不要效仿我购买盗版，而是应该去正规平台购买正版支持作者。 如果你像我一样，几个月前在某宝搜索『薛兆丰』、『李笑来』、『万维钢』等人，可以看到价值从 20-200 不等的几页商品，如果你选中
爬虫user-agent
07-28
回答: 爬虫user-agent是指爬虫程序在发送HTTP请求时所使用的User-Agent头部信息。默认的爬虫user-agent通常会直接告知对方，我们是爬虫程序，这样很多网站就会拒绝响应或者给出错误的响应。\[1\]为了避免这种情况，我们可以修改user-agent，使其看起来更像是一个正常的浏览器或者其他应用程序的请求。\[2\]可以通过搜索user-agent大全来获取不同的user-agent信息，但是需要注意的是，这些大全中的user-agent可能已经过时，不适用于当前的网络环境。\[3\]因此，在选择和修改user-agent时，需要根据实际情况和需求进行调整。 #### 引用[.reference_title] - *1* *2* *3* [【爬虫知识】为什么一般爬虫程序需要设置User-Agent呢](https://blog.csdn.net/sagegrass/article/details/125402636)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值