python - bing_api_search

最新推荐文章于 2024-08-18 11:53:50 发布
最新推荐文章于 2024-08-18 11:53:50 发布
阅读量938 收藏
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nixawk/article/details/48755025
版权

bing api search

#!/usr/bin/python
# -*- coding: utf-8 -*-

# Author: Nixawk
# Name:   bing api search
# Date:   Sat Sep 26 11:39:32 UTC 2015
# Docs:   https://datamarket.azure.com/dataset/bing/search

import requests
import json
import urllib
import logging


logging.basicConfig(level=logging.INFO, format="[+] %(message)s")
logger = logging.getLogger('bing_api_search')


class Bing(object):
    def __init__(self):
        """Get results from bing api
        """
        self.api_url = 'http://api.datamarket.azure.com/Bing/Search/Web'
        self.bing_urls = []
        self.bing_titles = []
        self.bing_results = []

    def json(self, content):
        """Json data format
        """
        logger.debug('translate data as json format')

        try:
            return json.loads(content)
        except ValueError:
            return {}

    def json_parse_Data(self, bing_json):
        """valid json data
        """
        logger.debug('if valid json data or not')
        if (bing_json) and ('d' in bing_json):
            return bing_json['d']

        return {}

    def json_parse_Results(self, bing_json_d):
        """parse results records from bing json data
        """
        logger.debug('parse results records from bing json data')
        if (bing_json_d) and ('results' in bing_json_d):
            return bing_json_d['results']

        return []

    def json_parse_Url(self, bing_json_r):
        """Parse url from (bing json results records)
        """
        logger.debug('parse urls from bing results records')
        return [_['Url'] for _ in bing_json_r if 'Url' in _]

    def json_parse_Title(self, bing_json_r):
        """Parse title from (bing json results records)
        """
        logger.debug('parse titles from bing results records')
        return [_['Title'] for _ in bing_json_r if 'Title' in _]

    def uniq(self, totalrecords=[], newrecords=[]):
        """uniq records
        """
        for i in newrecords:
            if i not in totalrecords:
                totalrecords.append(i)

        return totalrecords

    def api_request(self, url, api_key):
        """send api http request
        """
        sess = requests.Session()
        return sess.get(url, auth=("", api_key))

    def api_search(self, api_key, query, top=10, bing_limit=0):
        """bing search api
        """
        logger.debug('use bing search api for an new search')
        num = 1
        payload = {
            'Query': "'%s'" % query,
            '$format': 'json',
            '$top': top
        }

        while True:
            try:
                bing_json_d = None  # {'d':{}}
                bing_json_r = None  # {'d':{'results'}}

                url = "%s?%s" % (self.api_url, urllib.urlencode(payload))
                logger.info("%08d : %s" % (num, url))

                bing_resp = self.api_request(url, api_key)
                logger.info("%d - %s" % (bing_resp.status_code, url))

                # parse bing json data
                bing_json = self.json(bing_resp.text)
                bing_json_d = self.json_parse_Data(bing_json)

                # check if exists valid 'd' record
                if bing_json_d:
                    bing_json_r = self.json_parse_Results(bing_json_d)
                else:
                    break

                # check if exists valid ['d']['Results'] record
                if bing_json_r:
                    # parse results from json
                    self.uniq(self.bing_results, bing_json_r)

                    # parse urls from json
                    self.uniq(
                        self.bing_urls,
                        self.json_parse_Url(bing_json_r)
                    )

                    # parse titles from json
                    self.uniq(
                        self.bing_titles,
                        self.json_parse_Title(bing_json_r)
                    )
                else:
                    break

                # limit search number
                if (bing_limit != 0) and (bing_limit <= num):
                    break
                else:
                    num = num + (top * 1)

                if '__next' not in bing_json_d:
                    break
                else:
                    payload['$skip'] = num
            except KeyboardInterrupt:
                break

        return self.bing_results, self.bing_urls, self.bing_titles


if __name__ == "__main__":
    api_key = ''  # put your key here.
    query = 'site:exploit-db.com'

    bing = Bing()
    bing.api_search(api_key, query)

    # bing.api_search(api_key, query, top=5, bing_limit=100)
    #   api_key    :  bing search api key
    #   query      :  bing search syntax
    #   top        :  number of every query records
    #   bing_limit :  limit search records number

    for url in bing.bing_urls:
        print(url)
┌─[lab@core]─[~]
└──╼  python2 ~/bing_api.py 
[+] 00000001 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24top=5
[+] 00000006 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=6&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=6&%24top=5
[+] 00000011 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=11&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=11&%24top=5
[+] 00000016 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=16&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=16&%24top=5
[+] 00000021 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=21&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=21&%24top=5
[+] 00000026 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=26&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=26&%24top=5
[+] 00000031 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=31&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=31&%24top=5
[+] 00000036 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=36&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=36&%24top=5
[+] 00000041 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=41&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=41&%24top=5
[+] 00000046 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=46&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=46&%24top=5
[+] 00000051 : http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=51&%24top=5
[+] Starting new HTTP connection (1): api.datamarket.azure.com
[+] Starting new HTTPS connection (1): api.datamarket.azure.com
[+] 200 - http://api.datamarket.azure.com/Bing/Search/Web?Query=%27site%3Aexploit-db.com%27&%24format=json&%24skip=51&%24top=5
http://www.exploit-db.com/exploits/16314/
https://www.exploit-db.com/
https://www.exploit-db.com/google-hacking-database/
https://www.exploit-db.com/shellcode/
https://www.exploit-db.com/webapps/
https://www.exploit-db.com/remote/
https://www.exploit-db.com/dos/
https://www.exploit-db.com/platform/?order_by=date&order=asc&pg=1&p=linux
https://www.exploit-db.com/vbseo-from-xss-to-reverse-php-shell/
https://www.exploit-db.com/local/
https://www.exploit-db.com/exploits/38146/
https://www.exploit-db.com/exploits/38126/
https://www.exploit-db.com/exploits/38151/
https://www.exploit-db.com/exploits/38087/
https://www.exploit-db.com/exploits/38176
https://www.exploit-db.com/exploits/38089/
https://www.exploit-db.com/exploits/38085/
https://www.exploit-db.com/exploits/37976/
https://www.exploit-db.com/exploits/38202
https://www.exploit-db.com/exploits/37822/
https://www.exploit-db.com/exploits/38190
https://www.exploit-db.com/exploits/37932/
https://www.exploit-db.com/exploits/37778/
https://www.exploit-db.com/exploits/37890/
https://www.exploit-db.com/exploits/37927/
https://www.exploit-db.com/exploits/38073/
https://www.exploit-db.com/exploits/37818/
https://www.exploit-db.com/exploits/37774/
https://www.exploit-db.com/exploits/38091/
https://www.exploit-db.com/exploits/38000/
https://www.exploit-db.com/exploits/37929/
https://www.exploit-db.com/exploits/37920/
https://www.exploit-db.com/exploits/37931/
https://www.exploit-db.com/exploits/37773/
https://www.exploit-db.com/exploits/37817/
https://www.exploit-db.com/exploits/37923/
https://www.exploit-db.com/exploits/37814/
https://www.exploit-db.com/exploits/37977/
https://www.exploit-db.com/exploits/37966/
https://www.exploit-db.com/exploits/37812/
https://www.exploit-db.com/exploits/38051/
https://www.exploit-db.com/exploits/38072/
https://www.exploit-db.com/exploits/37988/
https://www.exploit-db.com/exploits/37771/
https://www.exploit-db.com/exploits/37852/
https://www.exploit-db.com/exploits/37926/
https://www.exploit-db.com/exploits/37843/
Nixawk
关注
专栏目录
python调用 bing api search接口 技术
ice
01-24 1169
0x01 微软bing的api现在也放开了，可以供大家使用了，以前的v1板的时候采用的是appid的方式，这个网上有很多介绍了，可惜现在这个接口取消了，取而代之是新的认证方式   0x02 首先可以参考http://blogs.msdn.com/b/translation/p/gettingstarted1.aspx这个文章讲的就比较细了，注意的点不多，   0x3 首先注册的时候bin...
用Bing API接口实现同IP域名查询（Python版）
Coisini的博客
06-15 2215
在https://datamarket.azure.com/account/datasets这里注册帐号后申请一个免费的KEY，一个月可以查询5000次，其申请方法网上有很多教程了。 import re import requests r = requests.get('http://www.bing.com/search?q=ip:'+ip+'&count=50') respons...
(python)bing搜索引擎API接入测试
weixin_34268843的博客
11-11 3984
2019独角兽企业重金招聘Python工程师标准>>> ...
bing官方api搜索引擎
qq_38531623的博客
08-02 744
微软 Bing 的搜索 API 使得开发者能够将 Bing 的搜索能力集成到自己的应用中，包括对网页、图片、新闻、视频的搜索，以及提供了实体搜索和视觉搜索的功能。这些 API 支持安全、无广告且能够根据地理位置提供相关信息的搜索结果。Bing Web Search API v7 允许用户从全球范围内的数十亿个网页文档中检索信息。
python渗透测试入门之burpsuite添加bing api插件
ailx10
06-15 313
近期收到了电子工业出版社赠送的一本网络安全书籍《python黑帽子》，书中一共24个实验，今天复现第16个实验（burpsuite bing插件），我的测试环境是mbp电脑+kali虚拟机+baidu站点。同样是python2环境，借助Bing API实现发现目标网站的所有子域名和同一IP地址的所有网站两个功能，可惜Bing API搞不到注册，需要visa信用卡进行身份验证，有机会再研究吧～1、点...
python调用bing api search接口技术
weixin_30519071的博客
08-11 641
0x01微软bing的api现在也放开了，可以供大家使用了，以前的v1板的时候采用的是appid的方式，这个网上有很多介绍了，可惜现在这个接口取消了，取而代之是新的认证方式 0x02首先可以参考http://blogs.msdn.com/b/translation/p/gettingstarted1.aspx这个文章讲的就比较细了，注意的点不多， 0x3首先注册的时候bing...
利用Bing Search API进行搜索
热门推荐
yuyelingting的专栏
12-02 1万+
0X01 Bing的搜索接口又原来的免费版改成现在的收费版。新版申请帐号后每个月有5000条的免费搜索次数，具体的申请方法请看http://wcf1987.iteye.com/blog/1775433 0X02
python -- 获取 bing 查询结果
Nixawk
05-26 4601
#!/usr/bin/env python import time import urllib2 from lxml import etree from urllib import urlencode from optparse import OptionParser class search(object): def __init__(self): self.re
Bing Search API入门
04-08
使用Bing Search API端点搜索Web的基本代码方案
Bing Search API 获取实现联网(无需魔法)
ph12345687的博客
05-21 3518
用langchain调用官方bing搜索联网
searchbing:gem 使用 bing 搜索 api
06-06
搜索 Bing Search API 2.0 的宝石。 在 ruby​​gems.org 上找到 安装 gem install searchbing 配置 使用必应搜索 API 需要订阅和帐户密钥。 您可以为 Bing Search API 创建一个新帐户并获取帐户密钥 WebOnly 搜索需要单独订阅，请在找到 用法 有效的搜索类型包括：图像、Web、WebOnly、新闻或视频。 第一个字母必须大写 这个 gem 依赖于 open-uri、net/http 和 json gem。 示例：交互式 Ruby Shell 在 shell 会话中需要 gem require 'searchbing' 创建一个新的搜索对象，请求低于 10 个结果，您一次最多可以检索 50 个 bing_image = Bing.new('your_account_key_goes_here', 10,
调用bing搜索api 本地网站实现搜索功能
09-01
调用bing搜索api 本地网站实现搜索功能 并借用fiddler软件 解决跨域问题 伪装服务器 本地实现该搜索功能
bing的搜索api简介
wangliang_f的专栏
04-09 5421
现在提供api的搜索不多了，主要就是bing
python 必应搜索教程
互锁博客
07-16 2960
Python爬虫，必应搜索，分享心得
Python如何免费调用微软Bing翻译API
henanlion的博客
01-13 2820
现在免费的机器翻译越来越少了，随着有道翻译开始收费，百度降低用户的免费机器翻译额度(目前只有实名认证过的高级用户才能获得100万字符的免费翻译额度)，而亚马逊、腾讯等机器翻译调用相对比较麻烦，需要下载各种插件包，有的如亚马逊还需要绑定信用卡，因此用户体验十分不友好。相比之下，微软的Bing翻译相对比较大方，考虑到了使用机器翻译中群体中有很多学生党，提供了Azure for Students的免费服务，不用登记信用卡，感兴趣的朋友，也可以通过以下地址进行申请试用。
怎么申请 bing api key
weixin_34227447的博客
02-02 6177
1：打开网址 https://login.live.com/ 注册帐号并登录（点击上图中的登录按钮即可），在新窗口点击下方的“立即注册”（有帐号的可以直接登录）2：填写相关信息（推荐使用hotmail邮箱）,填写完毕后点击下方的 即可PS：国家或地区请勿选择‘中国’，否则会出现‘在你的市场中未提供’，如果已经注册了请在‘我的帐户’--》‘帐户信息’--》‘编辑’，选择其他的国家或地区及语言，订阅...
如何获取Bing站长工具API密钥
最新发布
T19900的博客
08-18 258
如果你是新注册的Bing站长工具账号，注册登录成功后，即提示你添加网站，如果您在使用谷歌的站长工具可以直接导入数据，非常方便；API密钥是为Bing站长账户而非网站生成的，因此用户可以在Bing网站管理员工具上为其所有经过验证的网站使用相同的API密钥。如果您是第一次使用Bing站长工具的API Access，你还需要“生成API密钥”，如下图所示。如果你已经有Bing站长工具，你也可以点击左上角的网站列表，重新添加未添加的网站地址。本文将详细介绍如何通过Bing站长工具生成用于网站链接推送的API密钥。
bing api_如何在PHP中使用Bing Search API
culin0274的博客
08-07 935
bing api Microsoft has a Bing API that allows you to use the Bing search engine on your own website. API stands for Application Programming Interface for those that don’t know, and it’s a way to inte...
No module named 'bing_search'
08-16
"No module named 'bing_search'" 这是一个Python错误提示，它意味着当你尝试运行某个程序时，找不到名为 "bing_search" 的模块。通常情况下，这表示你在导入这个模块时出了一些问题，可能是以下几个原因： 1. 模块未安装：可能你需要先安装 `bing_search` 库，可以使用 pip 来安装：`pip install bing_search` 2. 导入路径错误：确认你是否正确地指定了模块的路径，如果没有放在标准库或sys.path设置的路径下，需要提供正确的路径。 3. 文件名拼写或大小写错误：检查文件名是否完全一致，包括大小写，因为 Python 是区分大小写的。 4. 模块结构更改：如果这是一个自定义模块，确保其结构没有发生改变，导致导入部分失效。 5. 环境变量问题：某些特定的API可能依赖于环境变量，如BING_API_KEY，确认这些变量设置正确。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值