关键词检索网址

已于 2024-05-27 13:29:30 修改
阅读量150 收藏
点赞数 3
文章标签： python
于 2024-05-27 13:08:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45271878/article/details/139235379
版权 
import requests
from bs4 import BeautifulSoup
import re
import time
from random import choice

# 创建headers字段
def createUA():
    # 运行该程序前：请打开浏览器前往"https://www.baidu.com"手动登录自己的百度账户，按F12打开开发者模式，选择最上面一排Network/网络选项卡
    # 接着按F5刷新本网页，捕获到的请求里一直往上翻到最顶端，选择第一次请求（即名称为www.baidu.com的请求）。
    # 再选择右侧标头选项卡，往下滑到请求标头处，将Cookie字段的值全部复制下来（有很长一段的）替换掉下行的****** 替换后可直接运行该文件
    ua = {'Cookie': 'BIDUPSID=AA1A39F756D4D0E2B83B6E1A38639146; PSTM=1716785788; BAIDUID=AA1A39F756D4D0E214B3565351B70FC4:FG=1; BAIDUID_BFESS=AA1A39F756D4D0E214B3565351B70FC4:FG=1; BD_UPN=12314753; BA_HECTOR=a1ala1ah8g2ga4a50h0g2g2l7qi0q11j584ju1v; ZFY=g:AC:BGYpTRw7Bm3hsLiEJdWgigibvSPJNMZd82LKKy2k:C; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598',
          'Host': 'www.baidu.com', \
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'}
    return ua
    # 程序运行无数据返回爬不了的时候，浏览器直接刷新继续按上述方法换字典里的Cookie值就完事了

# 将百度搜索链接给予的加密URL转化为真实的URL
def convertRealUrl(url, s2):
    try:
        headers = createUA()
        realR = s2.get(url = url, headers = headers, allow_redirects = False)
        # 当请求加密链接，初两次响应的Http报文往往告知浏览器需要重定向，最初两次的响应报文里才有Location属性来告知浏览器需要重定向到的真实网站链接。
        # 此时我们不允许会话自动根据给出的Location重定向跳转，因为允许重定向后会自动跳到最新的真实的URL站点，这时就只返回最新站点的响应HTTP报文（已完成重定向后），此时响应标头里不再有指示重定向url的Location字段。此方法就会失效！
        return realR.headers['Location']
    except:
        # print(realR.status_code, end = "")
        print("头部字段没有Location属性或者加密的url有异常")
        return url# 如果找不到Location头部字段无法返回真实链接，那么就返回原来的加密链接

# 获取搜索页
def getSearchPage(keyword, pn, s1):
    headers = createUA()
    url = 'http://www.baidu.com/s'
    payload = {'wd': keyword, 'pn': pn}
    try:
        r = s1.get(url, headers = headers, params = payload, timeout = 30)
        print('状态码是:', r.status_code)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return "状态码异常"

# 升级！爬取一页的标题和真实链接
def upgradeCrawler(html, s2):
    soup = BeautifulSoup(html, 'lxml')
    titles = []
    links = []
    for h3 in soup.find_all('h3', {'class': re.compile('c-title t')}):
        # a.text为获取该路径下所有子孙字符串吧。可能刚好a元素和em元素间没有换行符，所以抓取的字符串里没有\n换行符
        g_title = h3.a.text.replace('\n', '').replace(',', ' ').strip()# 去掉换行和空格，部分标题中还有逗号会影响CSV格式存储，也要去除。
        g_url = h3.a.attrs['href']
        g_url = convertRealUrl(g_url, s2)
        print("{}\t{}\t".format(g_title, g_url))
        titles.append(g_title)
        links.append(g_url)
    return titles, links

# 将二维列表数据写入CSV文件
def writeCSV(titles, links):
    infos = list(zip(titles, links))
    # fo = open('./BDlinks.csv', 'at', encoding='utf-8')# 需要锁定用utf-8编码打开，不然该文件很可能会以gbk中文编码存储，这导致部分url中的西文字符存储到本文件时无法通过gbk模式编码存储。
    for row in infos:
        # fo.write(",".join(row) + "\n")
        print(row+'\n')
    # fo.close()
    # print("CSV文件已保存!")

# 顶层设计
def main():
    while True:  # 循环
        keyword = input("请输入搜索关键词：")
        num = int(input("请输入爬取页数："))
        titles = []
        links = []
        # s1会话用于获取搜索结果页
        s1 = requests.session()
        # s2会话用于转真实URL
        s2 = requests.session()
        # 第1页为0，第2页为10，第3页为20，依次类推
        num = num * 10
        for pn in range(0, num, 10):
            html = getSearchPage(keyword, pn, s1)
            print('标题\tURL\t')
            ti, li = upgradeCrawler(html, s2)
            titles += ti
            links += li
            print("{0:->41}{1:-<36.0f}".format("当前页码为：", pn / 10 + 1))
            time.sleep(30)
        print('爬取完成！')
        writeCSV(titles, links)

# 代码不要强求都封装成函数，这样会让传参（变量作用域）变得十分复杂和麻烦！也会增加代码行数！而且有些部分从整体意义上就是不好分的！

if __name__ == '__main__':
    main()

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

攻心的销售文案短句 让客户一辈子只认你	https://mp.weixin.qq.com/s?__biz=MzUzNzM4NjkxNw==&mid=2247490795&idx=1&sn=dc224466e1c92420c2c363dcaf4d95d8&chksm=fae69621cd911f37715391c07584b3771c6f4d64346fa19be65d4587c50e070d88ef0f7f65d8&scene=27	
营销文案短句 - 百度文库	https://wenku.baidu.com/view/d2f1ded66b0203d8ce2f0066f5335a8102d26624.html	
🎀适合各行各业销售发的朋友圈文案|文案	https://mbd.baidu.com/newspage/data/dtlandingsuper?nid=dt_4444046255974402353	
经典广告营销文案 离不开的7大类型⭐️	https://www.xiaohongshu.com/explore/63e8be4c0000000013013e3c	
「营销文案」100句走心文案……句句扎心!	http://baijiahao.baidu.com/s?id=1648145262697117969&wfr=spider&for=pc	
直击灵魂的营销文案 句句不离人性❕🍷	https://mbd.baidu.com/newspage/data/dtlandingsuper?nid=dt_4784180538761099663	
营销文案策划范文(精选5篇) - 百度文库	https://wenku.baidu.com/view/328a93051dd9ad51f01dc281e53a580217fc504e.html	
营销的文案310句	http://m.oh100.com/meiwen/6237576.html	
-----------------------------------当前页码为：1-----------------------------------
状态码是: 200
标题	URL	
最实用的朋友圈销售文案 拿走不谢! - 知乎	https://zhuanlan.zhihu.com/p/611607921	
38份营销创意方案经典推荐~ - 知乎	https://zhuanlan.zhihu.com/p/666549387	
六一借势营销不知道怎么写?10大行业营销文案模板|速来抄作...	https://zhuanlan.zhihu.com/p/631891974	
营销型文案怎么写 营销推广文案写作技巧? - 知乎	https://www.zhihu.com/question/319637136/answer/2281495982?utm_id=0	
100句2021年值得收藏的广告文案! - 知乎	https://zhuanlan.zhihu.com/p/449378333	
最全618促销海报文案合集 100+有灵魂的文案 - 知乎	https://zhuanlan.zhihu.com/p/632285678	
100句的经典商业文案(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/613364181	
盘点丨2017年10大最佳营销文案 月薪3万文案的秘诀是... - ...	https://zhuanlan.zhihu.com/p/32453405	
掌握618年中大促必备的营销文案技巧!本文分享14个行业的13...	https://zhuanlan.zhihu.com/p/631196598	
销售高情商朋友圈 20句经典文案! - 知乎	https://zhuanlan.zhihu.com/p/647319831	
-----------------------------------当前页码为：2-----------------------------------
状态码是: 200
标题	URL	
100句的经典商业文案(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/613364181	
38份营销创意方案经典推荐~ - 知乎	https://zhuanlan.zhihu.com/p/666549387	
六一借势营销不知道怎么写?10大行业营销文案模板|速来抄作...	https://zhuanlan.zhihu.com/p/631891974	
100条最新男装文案②(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/638160311	
100条男装最新文案 - 知乎	https://zhuanlan.zhihu.com/p/628292200	
营销型文案怎么写 营销推广文案写作技巧? - 知乎	https://www.zhihu.com/question/319637136/answer/2281495982?utm_id=0	
【朋友圈】各类销售营业通用文案 - 知乎	https://zhuanlan.zhihu.com/p/633263149	
-----------------------------------当前页码为：3-----------------------------------
状态码是: 200
标题	URL	
100句的经典商业文案(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/613364181	
38份营销创意方案经典推荐~ - 知乎	https://zhuanlan.zhihu.com/p/666549387	
六一借势营销不知道怎么写?10大行业营销文案模板|速来抄作...	https://zhuanlan.zhihu.com/p/631891974	
100条最新男装文案②(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/638160311	
100条男装最新文案 - 知乎	https://zhuanlan.zhihu.com/p/628292200	
营销型文案怎么写 营销推广文案写作技巧? - 知乎	https://www.zhihu.com/question/319637136/answer/2281495982?utm_id=0	
【朋友圈】各类销售营业通用文案 - 知乎	https://zhuanlan.zhihu.com/p/633263149	
-----------------------------------当前页码为：4-----------------------------------
状态码是: 200
标题	URL	
100句的经典商业文案(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/613364181	
38份营销创意方案经典推荐~ - 知乎	https://zhuanlan.zhihu.com/p/666549387	
六一借势营销不知道怎么写?10大行业营销文案模板|速来抄作...	https://zhuanlan.zhihu.com/p/631891974	
100条最新男装文案②(值得收藏) - 知乎	https://zhuanlan.zhihu.com/p/638160311	
100条男装最新文案 - 知乎	https://zhuanlan.zhihu.com/p/628292200	
营销型文案怎么写 营销推广文案写作技巧? - 知乎	https://www.zhihu.com/question/319637136/answer/2281495982?utm_id=0	
【朋友圈】各类销售营业通用文案 - 知乎	https://zhuanlan.zhihu.com/p/633263149
乔峰不是张无忌330
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关键词检索
Codeooo 博客
07-12 7557
Codeooo
语音关键词检索实验小结
hdm314的博客
08-11 1747
语音关键词检索实验小结 语音关键词检索（KeywordsSearch），是指在连续语音流中检测出一组给定的关键词的过程。与大词汇量连续语音识别（Large Vocabulary Continuous Speech Recognition）相比，语音关键词检索不需要对非关键词的精确识别，只需要检测出关键词即可，降低了对语音识别系统的要求，拓展了系统的适用条件。语音关键词检索在实时对话系统，命令控制，语音拨号，语音监听，以及语音文档检索方面等方面有着广泛的应用。 语音关键词检索从输入内容的形式来看可以分为两
信息检索关键词的进阶使用
小囧豆豆的博客
10-27 5676
1.选取正确的检索词 （1）主题检索词与表现形式：一般主题的表现形式有两种，显性主题和隐形主题 显性主题：指主题的含义一目了然 隐形主题：指某些主题隐含在某些概念中。 2.提取检索词技巧 （1）检索词要能准确、全面地表达课题涉及的学科专业以及实质内容。 （2）检索词要能体现课题的显性和隐性主题中选词。 （3）补充检索词的同义词。 （4）检索词向上、向下类词拓展。（既可以从上位到下位，也可以从下位到上位） （5）不用或者用词义泛指过大的词 3.提取检索词的步骤和方法： ..
MySQL多个关键词检索字段
weixin_43406151的博客
09-02 1706
根据标签筛选数据，标签可传入多个，用英文逗号分隔。被检索的字段值是用英文逗号拼接保存的
log关键词检索
www18251955310的博客
09-09 1318
问题的debug 关键词tag的检索（mtk） 开始拍照时间点： 11-27 07:41:27.087 18776 18798 I CamAp_CameraProxy2Impl: [processMessage] [CapturePerformance] capture START 抓取拍照对应的request的关键词： 271397 01-01 00:36:27.347825 9110 11486 I mtkcam-FeatureSettingPolicy: [evaluateCaptureSettin
干货收藏 |关键词优化攻略！(附11款关键词检索工具）
Ericey0的博客
12-12 1542
点击关注，了解更多外贸干货知识
基于关键词的文本排序检索系统
weiambt的博客
06-17 3859
文章目录一、问题描述（一）课题内容（二）课题要求二、需求分析三、TF-IDF模型的实现（1）思路（2）代码实现（2.1）计算TF（2.2）计算IDF（2.3）计算TF-IDF四、主函数的实现五、其他函数的实现（1）文本库加载函数（2）文本库处理函数（2.1）分词及停用词的处理（2.1.1）分词（2.1.2）停用词（2.2）数据处理的主体部分（2.3）dealDataSet()函数的完整源代码（3）导出结果文本函数六、源代码 一、问题描述 （一）课题内容    对于给定文本库（数据集：“题目 B4 的数据集.
关键词智能抽取
showapi的博客
09-09 229
关键词提取，内容检索。通过词频算法抽取文本中的关键词,适用于诸如新闻内容关键词自动提取、评论关键词提取、网站SEO优化、网站内部搜索引擎关键字提取等场景。
Python 检索关键词对比
s0302017的博客
11-24 928
内容：做数据爬取时，爬取完成后为了确认检索关键词是否都进行爬取，使用此程序进行对比，提高效率。 # -*- coding: utf-8 -*- import os #more.txt保存全部关键词，less.txt保存检索过的关键词 with open("more.txt","r", encoding='UTF-8') as afile: while True: lin...
vb关键词检索工具
06-05
《VB关键词检索工具详解》 VB（Visual Basic）是一种由微软公司开发的编程环境，它以其易学易用的特点在编程领域占据了一席之地。在众多的应用场景中，关键词检索是一项基础但重要的功能，尤其在文本处理、数据分析...
pdfjs_1.1.159添加在指定页码使用关键词检索
09-16
在这个特定的场景中，我们关注的是PDF.js的1.1.159版本，它包含了对指定页码的关键词检索功能，并且能够高亮显示匹配的关键词。 关键词检索是阅读PDF文档时常用的功能，可以帮助用户快速找到文档中的关键信息。在...
MongoDB实现基于关键词的文章检索功能(C#版)
09-10
首先，要实现关键词检索，我们需要对文章内容进行预处理，这通常包括使用标签、分词和关键词提取。关键词提取组件可以将文章内容拆分成相关的关键词，并存储为数组，存入MongoDB文档的`Keywords`字段中。例如，可以...
关键词检索-crx插件
04-01
【关键词检索-crx插件】是一款专为中文（简体）用户设计的浏览器扩展程序，旨在简化和自动化网络上的关键词搜索及负面词的查找过程。这款插件特别适合那些需要频繁进行舆情监控和数据分析的用户，它能有效地提高工作...
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 791
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 532
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
IPython 日志秘籍：%logstate 命令全解析
2401_85812026的博客
07-17 491
logstate命令是 IPython 日志系统的重要组成部分，它帮助我们掌控日志记录的状态。通过本文的介绍，你应该对如何在 IPython 中使用%logstate查看日志状态有了更深入的理解。记住，合理利用日志系统，可以让你的数据探索过程更加透明和可追溯。本文详细介绍了 IPython 的%logstate命令，包括其基本概念、基本用法、输出解析以及实战示例。希望本文能够帮助读者更好地利用 IPython 的日志系统，优化数据探索和科学计算的工作流。记住，掌握%logstate。
N7翻译实战
tjl521314_21的博客
07-17 258
本周完成项目实战用于训练一个简单的序列到序列（seq2seq）模型以实现英语到法语的翻译。数据预处理、模型构建、训练以及可视化损失的过程。本周学习了构建和训练一个简单的seq2seq模型用于英语到法语的翻译，对前面的知识做了一个综合的运用。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
最新发布
Dxy1239310216的博客
07-18 187
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
python 关键词检索
11-10
以下是三种Python关键词检索的方法： 1. 使用Python标准库中的keyword模块来查询Python的关键字列表和判断一个标识符是否是Python的关键字。可以使用以下代码： ```python import keyword # 输出Python的所有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值