python爬虫案例-跳过百度验证，接口调用实现百度搜索功能

最新推荐文章于 2024-04-08 22:51:19 发布
最新推荐文章于 2024-04-08 22:51:19 发布
阅读量4.6k 收藏 12
点赞数 2
分类专栏： python 文章标签： python 爬虫 百度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hsx15777894525/article/details/123136214
版权

需求背景：我们有自己的平台，但是希望在我们的平台上面想要实现一个百度搜索的接口，输入想要搜索的内容，模拟百度搜索，将返回的内容再展现在我们自己的平台中，提供给用户查看。

# -- coding:utf8 --
import hashlib
import random
import sys
import time
from pprint import pprint
from urllib.parse import quote

from bs4 import BeautifulSoup
from requests_html import HTMLSession


# 代理ip
class GetProxy:
    _instance = None
    @staticmethod
    def get_random_proxy():
        while not GetProxy._instance:
            GetProxy._instance = ['211.149.199.235:16818', '123.57.57.125:16818']
        proxy = random.choice(GetProxy._instance).strip()
        return proxy

    """返回HTTP/HTTPS的代理IP，可根据代理IP类型更改"""
    def get_ip_http(self):
        proxies = {
            "http": self.get_random_proxy(),
        }
        return proxies

    def get_ip_https(self):
        proxies = {
            "https": self.get_random_proxy(),
        }
        return proxies


# 随机获取一个cookie
def get_random_cookie():
    cookies = [
        'PSTM=1645440125; BAIDUID=49D5966BB6F2D98A8378EC10151CE748:FG=1; BAIDUID_BFESS=49D5966BB6F2D98A8378EC10151CE748:FG=1; BIDUPSID=5C48EADF0E27C74CB11F290539E5EAA8; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; __yjs_duid=1_6b058121c11c500f39afbc042ec623711645440178604; delPer=0; PSINO=7; MCITY=-257%3A; BA_HECTOR=05a0ak0ga42525a5us1h18lb30r; BDRCVFR[C0p6oIjvx-c]=rJZwba6_rOCfAF9pywd; H_PS_PSSID=35105_35865_34584_35491_35872_35246_35319; ab_sr=1.0.1_ZGM2MTQ3YjE2NGE0ZmE2NWNhNGYzMDQ1Nzg1ZWYxYWFjZDllZjA1NzY0YWE3NjVjZmEyNjA4NmE5NTljZTEzOTFkNzViMWRlNTA4ZmQwYWIzYWZlYjQyMDYxZTcxNGI0NWVjYzU5ODk0ZDVmYmNkZDI4YzkyNGEwNTUwZjc4MWU3Y2Q0ZTUzOGExNjQwZTgzMzM4ZjQ2ZjkzMjE0OGNjZA==; BAIDU_WISE_UID=wapp_1645499858512_985',
        'BIDUPSID=0AB15879656FD166028DF65039BDFF15; PSTM=1641442191; BAIDUID=911EF71E90573B2693EC612910B1F7BE:FG=1; BCLID_BFESS=9239639223377566883; BDSFRCVID_BFESS=1T-OJeCmHxdstirHc7RXbo9jumKK0gOTHllnPXllHP8_1buVJeC6EG0Ptf8g0KubFTPRogKK0gOTH6KF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF_BFESS=tJkD_I_hJKt3fP36q6_a2-F_2xQ0etJXf5Txbp7F5lOVO-ngKU613MkSjNOj5t482jTLahkM5h7xObR1hl3ih-An0a7dJ4jtQeQ-5KQN3KJmfbL9bT3v5tDz3b3N2-biWbRM2MbdJqvP_IoG2Mn8M4bb3qOpBtQmJeTxoUJ25DnJhhCGe6-MjT3-DG8jqbvEHDc-WJ3t-TrjDCvRhMjcy4LdjG5N0PJT5bv73K022boobJcGLqjW0R_X3-Aq54RMagQwLPJEytQTS-5VbtoMQfbQ0-cOqP-jWbnu-qTo2n7JOpkRbUnxy50vQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHJbCJoDD5tIvbfP0kjjQWMt_h-fuX5-CstGPL2hcH0b61JbbR5-rKy-JW0R7a25cBbCjiaKJjBMb1DbRk0h7ShMkrebPD5JQpWDTm_q5TtUJMeCnTDMRh-xK70b5yKMnitIv9-pPKWhQrh459XP68bTkA5bjZKxtq3mkjbPbDfn028DKu-n5jHj3WDG-J3q; __yjs_duid=1_ada3d0ac8d4be7042dd53d52221555631641452261829; BAIDUID_BFESS=911EF71E90573B2693EC612910B1F7BE:FG=1; BD_HOME=1; H_PS_PSSID=35104_31660_34584_35490_35841_35887_35542_35318_26350_35867_22158; BD_UPN=12314753; delPer=0; BD_CK_SAM=1; PSINO=7; H_PS_645EC=09c89Z6QKcJ4xzJZr1LUqxrp0qdbpltyn/ixDDrfq5R6r0cQWwLiJT3HLZY; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BA_HECTOR=a424810gag04818hg31h15uop0q; baikeVisitId=492b5e23-3a27-4d6d-bf0a-ab5907361a87; BDSVRTM=643']
    cooke = random.choice(cookies).strip()
    return cooke

def search_kw(kw, pn, tp):
    cookie = get_random_cookie()
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
        "Referer": "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&ch=&tn=baiduhome_pg&bar=&wd=123&oq=123&rsv_pq=896f886f000184f4&rsv_t=fdd2CqgBgjaepxfhicpCfrqeWVSXu9DOQY5WyyWqQYmsKOC%2Fl286S248elzxl%2BJhOKe2&rqlang=cn",
        # "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "Accept-Language": "en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7",
        "Sec-Fetch-Mode": "navigate",
        "Cookie": cookie,
        "Connection": "Keep-Alive",
    }

    if cookie:
        if "__yjs_duid" not in cookie:
            pass
        else:
            _ = cookie.split("__yjs_duid=")
            __ = _[1].split(";", 1)[-1]
            ___ = hashlib.md5()
            cookie = _[0] + "__yjs_duid=1_" + str(___.hexdigest()) + __

    headers["Cookie"] = cookie + ";random=" + str(random.randint(500, 4000))

    text = quote(kw, "utf-8")
    rsv_page = ''
    cp = 1
    if pn == 'np':
        rsv_page = '&rsv_page=1'
    else:
        cp = int(pn)


    if tp == '1':  # 网页
        url = f"https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"
    elif tp == '2':  # 图片
        url = f"https://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"
    # elif tp == '3':  # 资讯
    #     url = f"https://www.baidu.com/s??rtt=1&bsst=1&cl=2&tn=news&word={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"
    # elif tp == '4':  # 知道
    #     url = f"https://zhidao.baidu.com/search?ie=utf-8&f=8&rsv_bp=1&tn=baidu&word={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"
    # elif tp == '5':  # 贴吧
    #     url = f"https://tieba.baidu.com/f?fr=wwwt&ie=utf-8&kw={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"
    # elif tp == '6':  # 视频
    #     url = f"https://www.baidu.com/sf/vsearch?pd=video&tn=vsearch&ie=utf-8&wrsv_spt=10&wd={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"
    elif tp == '3':  # 文库
        url = f"https://wenku.baidu.com/search?lm=0&od=0&ie=utf-8&word={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"

    elif tp == '4':  # 百科
        url = f"https://baike.baidu.com/search?lm=0&od=0&ie=utf-8&word={kw}&oq={text}&pn={(cp - 1) * 10}&inputT={random.randint(500, 4000)}{rsv_page}"


    proxies = GetProxy().get_ip_http()
    session = HTMLSession()
    r = session.get(url, headers=headers, proxies=proxies)
    r.encoding = r.apparent_encoding
    content_html = r.html.html
    soup = BeautifulSoup(content_html, features="html.parser")

    # 删除无用元素
    if tp == '1':  # 网页
        head = soup.find("div", id="head")
        if head:
            head.decompose()
        s_tab = soup.find("div", id="s_tab")
        if s_tab:
            s_tab.decompose()
        content_right = soup.find("div", id="content_right")
        if content_right:
            content_right.decompose()
        rs_new = soup.find("div", id="rs_new")
        if rs_new:
            rs_new.decompose()
        foot = soup.find("div", id="foot")
        if foot:
            foot.decompose()


    elif tp == '2':  # 图片
        head = soup.find("div", id="head")
        if head:
            head.decompose()
        s_tab = soup.find("div", id="s_tab")
        if s_tab:
            s_tab.decompose()
        content_right = soup.find("div", id="content_right")
        if content_right:
            content_right.decompose()
        rs_new = soup.find("div", id="rs_new")
        if rs_new:
            rs_new.decompose()
        foot = soup.find("div", id="foot")
        if foot:
            foot.decompose()
        bdpcImgTab = soup.find("div", id="bdpcImgTab")
        if bdpcImgTab:
            bdpcImgTab.decompose()
        topInfoBar = soup.find("div", id="topInfoBar")
        if topInfoBar:
            topInfoBar.decompose()


    # elif tp == '3':  # 资讯
    #     head = soup.find("div", id="head")
    #     if head:
    #         head.decompose()
    #     s_tab = soup.find("div", id="s_tab")
    #     if s_tab:
    #         s_tab.decompose()
    #     content_right = soup.find("div", id="content_right")
    #     if content_right:
    #         content_right.decompose()
    #     rs_new = soup.find("div", id="rs_new")
    #     if rs_new:
    #         rs_new.decompose()
    #     foot = soup.find("div", id="foot")
    #     if foot:
    #         foot.decompose()
    #
    #
    # elif tp == '4':  # 知道
    #     head = soup.find("div", id="head")
    #     if head:
    #         head.decompose()
    #     s_tab = soup.find("div", id="s_tab")
    #     if s_tab:
    #         s_tab.decompose()
    #     content_right = soup.find("div", id="content_right")
    #     if content_right:
    #         content_right.decompose()
    #     rs_new = soup.find("div", id="rs_new")
    #     if rs_new:
    #         rs_new.decompose()
    #     foot = soup.find("div", id="foot")
    #     if foot:
    #         foot.decompose()
    #     right_billboard = soup.find("div", id="right-billboard")
    #     if right_billboard:
    #         right_billboard.decompose()
    #
    #
    # elif tp == '5':  # 贴吧
    #     head = soup.find("div", id="head")
    #     if head:
    #         head.decompose()
    #     s_tab = soup.find("div", id="s_tab")
    #     if s_tab:
    #         s_tab.decompose()
    #     content_right = soup.find("div", id="content_right")
    #     if content_right:
    #         content_right.decompose()
    #     rs_new = soup.find("div", id="rs_new")
    #     if rs_new:
    #         rs_new.decompose()
    #     foot = soup.find("div", id="foot")
    #     if foot:
    #         foot.decompose()
    #     pagelet_head = soup.find("div", id="pagelet_frs-header/pagelet/head")
    #     if pagelet_head:
    #         pagelet_head.decompose()
    #     normal_aside = soup.find("div", id="pagelet_frs-aside/pagelet/normal_aside")
    #     if normal_aside:
    #         normal_aside.decompose()
    #     content_footer = soup.find("div", id="pagelet_frs-footer/pagelet/content_footer")
    #     if content_footer:
    #         content_footer.decompose()
    #
    #
    # elif tp == '6':  # 视频
    #     head = soup.find("div", id="head")
    #     if head:
    #         head.decompose()
    #     s_tab = soup.find("div", id="s_tab")
    #     if s_tab:
    #         s_tab.decompose()
    #     content_right = soup.find("div", id="content_right")
    #     if content_right:
    #         content_right.decompose()
    #     rs_new = soup.find("div", id="rs_new")
    #     if rs_new:
    #         rs_new.decompose()
    #     foot = soup.find("div", id="foot")
    #     if foot:
    #         foot.decompose()
    #     con_ar = soup.find("div", id="con-ar")
    #     if con_ar:
    #         con_ar.decompose()

    elif tp == '3':  # 文库
        head = soup.find("div", id="head")
        if head:
            head.decompose()
        s_tab = soup.find("div", id="s_tab")
        if s_tab:
            s_tab.decompose()
        content_right = soup.find("div", id="content_right")
        if content_right:
            content_right.decompose()
        rs_new = soup.find("div", id="rs_new")
        if rs_new:
            rs_new.decompose()
        foot = soup.find("div", id="foot")
        if foot:
            foot.decompose()

        elif tp == '4':  # 百科
            head = soup.find("div", iclass_="wiki-common-headTab")
            if head:
                head.decompose()
            foot = soup.find("div", class_="wgt-footer-main")
            if foot:
                foot.decompose()

    page_content = soup.find("div", id="page")
    if page_content:
        links = page_content.findAll("a")
        if links:
            for link in links:
                span = link.find('span')
                cp = 'np'
                if span:
                    cp = span.get_text()

                href = f"/article/searchEverything?wd={kw}&pn={cp}&tp={tp}"
                link['href'] = href

    soup_content = soup.prettify(encoding="utf-8", formatter='minimal')
    print(soup_content)


if __name__ == '__main__':

    kw = '广州市区'
    pn = '1'
    tp = '4'
    if len(sys.argv) == 4:
        kw = sys.argv[1]
        pn = sys.argv[2]
        tp = sys.argv[3]
    elif len(sys.argv) == 3:
        pn = sys.argv[1]
        tp = sys.argv[2]

    result = search_kw(kw, pn, tp)
小洪鼠
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pyhon3相关词爬虫脚本下载 绕过安全验证，亲测，有效
02-11
Pyhon3相关词爬虫脚本下载 绕过安全验证，亲测，有效
python 无头模式 绕过检测_python爬虫反反爬虫有绝技，轻松绕开百度人机验证！...
weixin_39522312的博客
12-10 2902
你可能已经了解到了无头浏览器的作用以及使用的方法，那么本篇文章就让我们一起用无头浏览器做点事情。是的你没有看错，我们要“搞”的对象就是百度指数这个网站，不知道你平时是否会应用到这里面的数据呢？今天的主要目标就是使用无头浏览器登录百度指数网站，并且绕开它的人机验证，不知道你发现没有，当我们人为正常登录这个网站的时候就不会出现字母、数字或者汉字验证码，而使用无头浏览器登录的时候就会出现这些验证码，闲言...
阿里巴巴面试难题，Python10行代码实现模拟百度搜索，来一份全面的面试宝典练练手
最新发布
2301_79054215的博客
04-08 365
UA伪装」是指在HTTP请求头中添加 User-agent ，伪装成浏览器的请求，网站检查请求头时，发现有UA请求头，就会认为是浏览器的请求，从而放行。响应的内容实际上就是构成页面的 HTML 代码，将响应内容写入HTML文件，就获得了百度搜索的响应页面。大部分网站都会对用户的请求进行「过滤」，以防止恶意攻击行为，比如查看是否是浏览器发出的请求。(img-lLGHYNxG-1712587868534)]利用百度的接口发送「请求」，获取响应内容。搜索内容肯定不能写死，需要由用户「输入」
php爬虫跳过百度验证,python爬虫反反爬虫有绝技，轻松绕开百度人机验证！
weixin_42497299的博客
03-10 2847
你可能已经了解到了无头浏览器的作用以及使用的方法，那么本篇文章就让我们一起用无头浏览器做点事情。是的你没有看错，我们要“搞”的对象就是百度指数这个网站，不知道你平时是否会应用到这里面的数据呢？今天的主要目标就是使用无头浏览器登录百度指数网站，并且绕开它的人机验证，不知道你发现没有，当我们人为正常登录这个网站的时候就不会出现字母、数字或者汉字验证码，而使用无头浏览器登录的时候就会出现这些验证码，闲言...
PYthon进阶--网页采集器(基于百度搜索的Python3爬虫程序)
在猴站学算法
02-05 3467
基于百度搜索引擎的PYthon3爬虫程序的网页采集器，小白和爬虫学习者都可以学会。运行爬虫程序，输入关键词，即可将所搜出来的网页内容保存在本地。
java 利用httpclient绕过百度验证登录爬取百度指数
zc5660020的博客
06-24 3283
风java 利用httpclient绕过百度验证登录爬取百度指数分析请求内容 java 利用httpclient绕过百度验证登录爬取百度指数 公司要求爬取百度指数的相关信息，发现需要百度登录验证。网上找了很多相关文章，都是用来模拟登录的过程，经过一番尝试，发现太复杂，最后失败。于是，换种方式，直接绕过登录。具体方式如下： 分析请求内容 我用的是google浏览器的调试工具，按F12查看请求...
2022-11-08 百度旋转验证码识别平台接口文档
qq_40240315的博客
11-08 709
百度站长非验证站点推送程序、百度站长域名批量添加、泛站泛域名，二级域名批量添加、批量添加sitemap等程序都需要过百度的旋转验证码，但是对于站长来说批量操作站群，泛站或者泛目录的需要百度推送收录，自然要充分利用站长平台，因此本站打包的站长工具都需要过百度的旋转验证码。相似图片搜索获取旋转角度api文档。
python爬虫获取子域名以及对“百度安全验证”问题的解决
热门推荐
qq_53184526的博客
09-14 1万+
python爬虫：模仿bing搜索引擎的子域名搜集功能，实现baidu搜索引擎的子域名搜集功能；“百度安全验证”的解决
百度API调用
Ningmengyouzhi的博客
12-19 6292
百度API调用讲解
python爬虫返回百度安全验证
胖达哒的博客
04-21 4386
好像是可以了，又好像不可以，求哪位大神能给个解答
Python网络爬虫
Aurora_1970s的博客
05-06 3826
Python网络爬虫—给????爪巴????1.网络爬虫的安全性2.网络爬虫的工作原理3.requests库1.requests库的常用函数2.request操作步骤3.response返回响应4.beautifulsoup4库1.常用的解析技术2.beautifulsoup4的操作步骤 网络爬虫，又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动请求万维网网站并提取网络数据的程序或脚本。 网络爬虫的相...
python爬虫案例-01-了解模块.ev4.rar
01-11
python爬虫案例-01-了解模块.ev4.rar
python爬虫案例-29-super方法写法.ev4.rar
12-23
python爬虫案例-29-super方法写法.ev4.rar
70 - Python 网络爬虫案例 - 爬取百度图片
08-05
Python 网络爬虫案例 —— 爬取百度图片
Python爬虫实现百度翻译功能过程详解
09-16
主要介绍了Python爬虫实现百度翻译功能过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python爬虫案例-源码.zip
06-08
这是一个爬取链家的一个爬虫源码案例
（已解决）关键词爬取百度搜索结果，返回百度安全验证，网络不给力，请稍后重试，无法请求到正确数据的问题（2023最新）
c1007857613的专栏
04-21 8973
已解决，使用关键词进行百度搜索，然后爬取搜索结果，请求数据后，返回的是百度安全验证，网络不给力，请稍后重试。无法请求到正确数据。且尝试在header中增加Accept参数还是不行
如何利用Python调用一些搜索引擎网站？
TSINGHUAJOKING
02-27 3247
简 介： 利用 urllib.request 可以调用一些搜索引擎 BING 的搜索引擎结果。但是通过测试发现尚无法对中文进行传递函数进行搜索。具体解决方法现在尚未得知。 关键词： bing，python，搜索引擎 #mermaid-svg-jovJM5mGbZw9wRhh {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-jovJM5mGbZw9wRhh .error..
Java爬虫技术之绕过百度云防护抓取网站内容
weixin_34162401的博客
10-07 288
为什么80%的码农都做不了架构师？>>> ...
python爬虫------lol战队比赛数据爬取并保存信息到excel
11-05
Python爬虫可以用来爬取LOL战队比赛数据，并将信息保存到Excel中。具体步骤如下： 1.分析数据来源：观察数据源，找到数据接口，获取接口地址。 2.发送请求：使用Python的requests库向接口地址发送请求，获取数据。 3.解析数据：使用Python的json库解析获取到的数据。 4.保存数据：使用Python的pandas库将数据保存到Excel中。 下面是一个简单的代码示例，用于爬取LOL战队比赛数据并将信息保存到Excel中： ```python import requests import json import pandas as pd # 获取数据 url = 'https://api.example.com/lol/match/team' response = requests.get(url) data = json.loads(response.text) # 解析数据 team_data = [] for team in data['teams']: team_info = { 'team_name': team['name'], 'win': team['win'], 'lose': team['lose'] } team_data.append(team_info) # 保存数据到Excel df = pd.DataFrame(team_data) df.to_excel('lol_team_data.xlsx', index=False) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值