Python爬虫入门实例四之百度、360搜索关键字提交（可自主输入关键字）

最新推荐文章于 2022-07-08 17:36:47 发布
最新推荐文章于 2022-07-08 17:36:47 发布
阅读量3.4k 收藏 26
点赞数 5
分类专栏： 爬虫实例 文章标签： python 爬虫 百度 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44578172/article/details/109349554
版权

文章目录

写在前面

  本文从百度、360两种搜索引擎介绍关键字的提交爬取信息，在引用例的基础上做了优化，可以自主输入关键字，打印输出提交关键词后的查找内容的字符串长度以及相关的URL。

一.爬取原页面

  以关键词为python为例。

1.百度页面如下

在这里插入图片描述

2.360页面如下

在这里插入图片描述
  小声BB：通过上面对比发现同样是卖课，看来这几个机构给的钱是不一样的呀，某度还是把自己的平台放在了第一位。

二.爬取原理分析

  首先我以查找python为例向大家展示在百度和360搜索页面中URL的结果。

1.百度

在这里插入图片描述

https://www.baidu.com/s?wd=python&tn=78040160_5_pg&ch=8

2.360

在这里插入图片描述
https://www.so.com/s?q=python

  通过上述实践我们可以发现搜索引擎是有其关键词的提交接口的。

百度的关键词接口：
https://www.baidu.com/s?wd=keyword

360的关键词接口：
https://www.so.com/s?q=keywo

最低0.47元/天 解锁文章
[特殊字符] Python 爬虫实战：构建聚合搜索引擎爬虫（百度、360）
2201_76125261的博客
03-26 844
在当今信息时代，搜索引擎是我们获取信息的主要工具。百度、360、Google 等搜索引擎每天为用户提供大量的查询结果。但不同搜索引擎的算法和索引方式不同，导致相同关键词在不同平台上返回的结果可能存在差异。聚合搜索引擎的作用就是将多个搜索引擎（如百度、360）返回的结果进行整合，形成一个完整的、多样化的信息集合，从而帮助用户获得更全面和准确的答案。在本文中，我们将使用 Python 编写一个聚合搜索引擎爬虫，从百度和 360 抓取搜索结果，并进行整合、清洗和分析。安装必要的 Python 库： 🚀 四、爬
【最全笔记】基础Python爬虫入门，看完包你会写爬虫
没有人的博客
02-29 1153
第一章 网络爬虫之规则 一、Requests库入门 request库:http://www.python-requests.org 安装方法：pip install requests 抓取百度 import requests r=requests.get("http://www.baidu.com") r.status_code r.encoding='utf-8' r.text re...
Python爬虫之Requests库——百度/360搜索关键词提交
qq_44838702的博客
03-20 1277
1、百度关键词提交 若按照MOOC上老师的代码来提交关键词，我们会遇到百度的安全验证 我们打开浏览器，搜索Python，结果如下 观察网址特点，开始编写代码 import requests try: # kv={'wd':'python'} kv ={'ie':'utf-8','wd': 'Python','p_timestamp':'1583634916'} ua =...
Python爬虫之百度/360搜索关键字自动提交
xjfyt0129的博客
12-03 1016
一、百度 代码： import requests from bs4 import BeautifulSoup import re import json def getKeywordResult(keyword): url = 'http://www.baidu.com/s?wd=' + keyword try: r = requests.get(url, timeout=30) r.raise_for_status() r.encodin
网页爬虫——搜索关键词自动提交
miahhrgbfcyur的博客
02-21 4133
这是一个向搜索引擎自动提交检索关键词并获取返回结果的实例。 import requests from bs4 import BeautifulSoup import re import json def getKeywordResult(keyword): url = 'http://www.baidu.com/s?wd='+keyword try: r = re...
python搜索关键词自动提交_简单爬虫：调用百度接口,实现关键词搜索（python_003)...
weixin_39634508的博客
11-24 696
需求：如何用python代码实现百度搜索关键词的功能？比如输入关键词：“python爬虫”，得到一个搜索结果的页面，并保存到本地。这是经典的python爬虫教学案例之一，也是比较基础的python实现。今天主要通过python自带的urllib库实现。实现的步骤有三：第一步：实践。打开百度搜索，输入关键词搜索一下。第二步：观察。查看链接，找到链接中的规律。将链接复制出来，如下：看到这么一长串是不是...
实例3：百度360搜索关键词提交
欢迎来到关关雎鸠儿的博客
09-25 688
百度的关键词接口： http://www.baidu.com/s?wd=keyword 360的关键词接口： http://www.so.com/s?q=keword import requests kv={'wd':'Python'} r=requests.get('http://www.baidu.com/s',params=kv) print(r.status_code) print(r.r...
python爬虫基础入门 — python爬虫requests库使用操作全解
12-21
- **百度/360搜索关键字提交**：模拟用户搜索行为，获取搜索结果页面。 - **网络图片爬取**：通过下载图片URL，将图片保存到本地。 **网络爬虫的正确使用方法**： 1. **网络爬虫的规模分类**：根据爬取范围，可分为...
最简单的python爬虫案例，适合入门学习
Yuki1127918的博客
07-08 8013
用python从网页爬取数据，网上相关文章很多，但能让零基础初学者轻松上手的却很少。可能是有的作者觉得有些知识点太简单不值得花费精力讲，结果是难者不会会者不难，初学者常常因此而蒙圈。本人也是小白，刚摸索着爬了两个简单的网页数据，经历了初学者易犯的各种糊涂，特总结分享一下，希望能对小白们有用。python爬网络数据，方法很多。不同的python版本、不同的模块、库，对应代码都不同。所以，在看他人代码时，需要搞清代码环境所用的版本和使用的模块库等信息。因为如果环境不同，相同的代码也可能没用。初学者往往看到一篇文
python爬虫
qq_53183608的博客
07-22 6773
爬虫通过编写程序来获取互联网上的资源 web请求过程解析 1.服务器渲染:在服务器那边直接把数据和HTML整合在一起,统一返回给浏览器 特点:在页面源代码中能看到数据 2.客户端渲染:第一次请求只要一个HTMl骨架,第二次请求拿到数据,进行数据展示. 特点:在页面源代码中看不到数据(数据在第二次请求中) 所以在看不到数据的时候不要慌,再往下找找 HTTP协议 协议:就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协议.常见的协议有TCP/IP,SOAP协议,HTTP协议,SMTP协议等等 HTTP
python爬虫-百度/360搜索
HHHHHHep的博客
04-19 2327
原理：百度搜索的url为 http://baidu.com/s?wd=搜索内容360搜索的url为 www.so.com/s?q=搜索内容百度搜素import requests #keyword = input("请输入你想搜索的内容") keyword = "123" try: kv = {'wd' : keyword} r = requests.get("http://baidu.com/...
百度爬虫-获取指定关键词的搜索结果及url信息
04-08
一个小的爬虫程序，输入关键词，限制时间，所需条目数，返回在百度搜索得到结果的答案标题及HTML
《百度搜索关键词自动提交》配套源代码文件
10-09
《百度搜索关键词自动提交》配套源代码文件，供python学习者交流学习之用，免费下载，供爬虫爱好者学习和交流。
13个搜索引擎自动提交代码
01-29
13个搜索引擎自动提交代码
Python爬虫实战之三：requests-百度/360搜索关键词提交
miracle2me的专栏
12-01 5745
本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》（by嵩天北京理工大学）学习笔记。代码段均可在ide中运行by now(2021-12-01). 1.爬取目标 爬取的是百度/360搜索某个关键词返回的页面信息。 首先看一下百度请求数据的url长下面这样，这里搜索的是关键词字符串是‘Python’。 360搜索关键词'Python'的url及返回是下面这样的： 2.爬取链接 百度搜索url: http://www.baidu.com/s 3...
python爬虫爬取百度、360搜索引擎信息
Clown_pan的博客
04-01 2687
利用爬虫获取360搜索上的信息 >>> import requests >>> keyword='python' >>> try: kv={'q':keyword} r=requests.get("http://www.so.com/s",params=kv) print(r.request.url) r.raise_for_statu...
Python 3获取360搜索结果的链接
weixin_30777913的博客
01-11 683
#!/usr/bin/python # coding:utf8 import re import requests import sys import getopt from bs4 import BeautifulSoup from urllib.parse import quote from time import sleep import time import random class...
【网络爬虫】给关键字获取百度知道搜索数据的网络爬虫
热门推荐
谙忆-陈浩翔
03-01 1万+
转载请注明出处：http://blog.csdn.net/qq_26525215 本文源自【大学之旅_谙忆的博客】 简单的通过关键字，爬出百度知道的一些搜索数据。 例如：问题，提问时间；答案文本，答案时间，点赞数，拍砖数，回答人，回答人级别，搜索的关键字等。答案可以有多个，每个问题有多个答案应都保存。保存数据在MySql中。在这里需要用到一个牛人的爬虫框架： WebMagic 网址：http:
使用python访问网页并填写信息（登录）进行提交操作
qq_44929535的博客
11-26 1万+
使用python访问网页并填写信息（登录）进行提交操作 ①例如这样的xpath( ‘//*[@id=“kw”]’)可以点击F12打开浏览器调试器(或者右键页面选择检查)=》点击调试器的箭头标志=》点击页面需要输入信息的input框或者点击提交的button按钮=》右键copy=》copy xpath即可 # from selenium import webdriver # #打开谷歌浏览器 # driver = webdriver.Chrome() # #打开百度搜索主页 # driver.get('
python爬虫 百度新闻 多关键字
最新发布
07-15
### 回答1： Python爬虫可以用于从百度新闻获取多个关键字的相关新闻信息。首先，我们需要导入`requests`和`beautifulsoup4`库来发送HTTP请求并解析网页内容。 接下来，我们可以编写一个函数，其参数为关键字列表，用于获取百度新闻中相关关键字的新闻。函数的主要步骤如下： 1. 定义一个空的新闻列表来存储爬取到的新闻信息。 2. 遍历关键字列表，对于每个关键字，构建一个百度新闻的URL链接。 3. 使用`requests`库发送HTTP GET请求，并将响应的内容保存为HTML格式。 4. 使用`beautifulsoup4`库来解析HTML内容，并提取出新闻信息。可以根据需要提取新闻标题、来源、时间等相关信息。 5. 将提取到的新闻信息存储到新闻列表中。 6. 继续遍历下一个关键字，重复上述步骤。 7. 返回新闻列表作为函数的输出。 下面是一个示例代码： ```python import requests from bs4 import BeautifulSoup def get_news(keywords): news_list = [] for keyword in keywords: url = f"https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&word={keyword}" response = requests.get(url) html_content = response.text soup = BeautifulSoup(html_content, "html.parser") news_items = soup.find_all("div", class_="result") for item in news_items: title = item.find("h3").get_text() source = item.find("span", class_="c-color-gray").get_text() time = item.find("span", class_="c-color-gray2").get_text() news_list.append({ "title": title, "source": source, "time": time }) return news_list ``` 我们可以调用这个函数，传入关键字列表来获取百度新闻中相关的新闻信息。例如： ```python keywords = ["Python", "爬虫", "数据分析"] news = get_news(keywords) for item in news: print(item["title"]) print(item["source"]) print(item["time"]) print() ``` 以上就是使用Python爬虫从百度新闻获取多个关键字相关新闻的一个简单示例。当然，具体的实现方式还可以根据具体需求进行调整和优化。 ### 回答2： Python爬虫是一种利用Python编程语言编写的程序，可以自动化地获取互联网上的信息。百度新闻是百度搜索引擎中的一个板块，提供了各种新闻资讯。多关键字指的是可以通过设置多个关键字来搜索获取更准确的结果。 使用Python爬虫爬取百度新闻多关键字的步骤如下： 1. 导入必要的库，例如requests、bs4等。 2. 设置搜索的URL，即百度新闻的搜索接口，可以在URL中加入关键字等参数。 3. 调用requests库发送HTTP请求，获取返回的网页内容。 4. 使用BeautifulSoup库解析网页内容，提取新闻信息。 5. 遍历解析后的结果，提取所需的信息，例如标题、摘要、日期等。 6. 可以将提取到的信息保存到本地文件或数据库中。 7. 可以在代码中设置循环、分页等功能，获取更多的新闻信息。 8. 可以根据需要对获取的新闻信息进行数据清洗、分析等。 使用Python爬虫爬取百度新闻多关键字可以帮助我们快速获取感兴趣的新闻内容，节省人工搜索的时间和精力。但在进行爬取时，需要遵守相关法律法规，尊重网站的规定，并确保合法安全地使用爬虫技术。 ### 回答3： Python爬虫可以用来抓取百度新闻的多个关键字。首先，我们需要导入必要的库，如requests用于发送HTTP请求，beautifulsoup用于解析网页内容。 然后，我们可以通过构造URL来搜索百度新闻。URL的格式通常包括搜索关键字、起始页码和每页显示的新闻数量等。我们可以使用字符串拼接的方式构造URL，其中搜索关键字可以是多个关键字的组合，通过连接符进行拼接。 接下来，我们可以使用requests库发送get请求获取网页内容。将构造好的URL作为参数传递给requests.get()方法，然后使用response.text来获取网页的HTML源代码。 然后，我们可以使用beautifulsoup库对网页内容进行解析。首先，将获取到的HTML源代码传递给beautifulsoup，并指定解析器类型。然后，可以使用beautifulsoup提供的一些方法，如find_all()来查找包含新闻内容的div元素。 在查找到对应的div元素后，我们可以通过遍历其中的子元素，提取出新闻的标题、发布时间和链接等信息。可以通过调用元素的get_text()方法获取文本内容，以及通过访问元素的属性来获取链接。 最后，可以将获取的新闻信息保存到本地或者进行进一步的处理和分析。可以将信息存储到一个列表或字典中，方便后续的操作。 总而言之，通过使用Python编写爬虫程序，我们可以实现对百度新闻的多个关键字进行搜索，并提取出相关的新闻标题、发布时间和链接等信息。这样就可以方便地获取和处理新闻内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我敲的贼快

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值