PYTHON爬虫小工具

最新推荐文章于 2024-10-17 08:00:29 发布

鑫达达

最新推荐文章于 2024-10-17 08:00:29 发布

阅读量439

点赞数

文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_42529356/article/details/121461452

版权

本文介绍了使用Python进行爬虫时如何进行google和firefox headers格式转换，并探讨了如何判断服务器检测的headers和cookies值，对于网络爬虫实践具有指导意义。

摘要由CSDN通过智能技术生成

文章目录

google headers格式转换
firefox headers格式转换
判断服务器检测哪些headers头
判断服务器检测哪些cookies值

google headers格式转换

复制google浏览器中的request headers

def googleHeadersFormat(headers):
    '''
    google headers格式转换
    :param headers:
    :return:header_dict
    '''
    header_dict = {
   }
    for header in headers.split('\n'):
        header_dict[header.split(':')[0]] = header[len(header.split(':')[0]) + 1:].strip()
    return header_dict

firefox headers格式转换

复制firefox浏览器中的request headers

def huohuHeaderFormat(headers):
    '''
    火狐header格式转换
    :param headers:
    :return:header_dict
    '''
    header_dict={
   }
    for key in headers.keys():
        for header_info in headers[key]['headers']:
            header_dict[header_info['name']]=head