简易版python爬虫--通过关键字爬取网页

已于 2023-03-26 08:45:53 修改
阅读量6.8k 收藏 52
点赞数 2
分类专栏： 平时手记 文章标签： python 爬虫 开发语言
于 2023-03-26 00:51:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62791684/article/details/129774761
版权

背景：
帮同学写了个爬虫程序，特此记录，怕以后忘了
这里是爬取百度https://www.baidu.com
不为什么，主要就是百度老实，能爬，爬着简单，爬着不犯法。。。

关键字爬取基本模板：

import requests
from bs4 import BeautifulSoup
import random
import time

def searchbaidu(keyword):
		url = f"https://www.baidu.com/s?wd={keyword}"
        user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/20.10240.16384 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/85.0.564.44 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.109 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.57 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/79.0.309.68 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/78.0.276.19 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/77.0.235.9 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/75.0.139.8 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/74.1.96.24 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/73.0.3683.75 Safari/537.36'
        ]
        headers = {
            'User-Agent': random.choice(user_agents)
        }

        response = requests.get(url, headers=headers)
        time.sleep(random.uniform(0.5, 3))  # 设置访问频率限制
        soup = BeautifulSoup(response.content, "html.parser")
        results = soup.find_all("div", class_="result")
        for result in results:
            try:
                title = result.find("h3").text
                link = result.find("a")["href"]
                print(title)
                print(link)
            except:
                continue

说明：

随机用户，反反爬虫

这个程序是有一点小优化的，主要就是进行了一点点小小的反反爬虫措施
如：

		user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/20.10240.16384 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/85.0.564.44 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.109 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.57 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/79.0.309.68 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/78.0.276.19 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/77.0.235.9 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/75.0.139.8 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/74.1.96.24 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/73.0.3683.75 Safari/537.36'
        ]
        headers = {
            'User-Agent': random.choice(user_agents)
        }
        time.sleep(random.uniform(0.5, 3))  # 设置访问频率限制

这一步是为了获取一个请求对象，说白了就是模拟一个用户来访问，由此避开百度的反爬机制捏。不过百度这样好爬，也方便了咱们这些初学者学习嘛~
综上，通过随机获取列表里的数值来模拟出随机的访客

获取数据

		response = requests.get(url, headers=headers)
        soup = BeautifulSoup(response.content, "html.parser")
        results = soup.find_all("div", class_="result")

requests.get(url, headers=headers)就是以headers的身份获取链接里面的内容

BeautifulSoup(response.content, “html.parser”)就是提取出内容里面的html部分

soup.find_all(“div”, class_=“result”)就是寻找html里所有class为result的div。

展示数据：

        for result in results:
            try:
                title = result.find("h3").text
                link = result.find("a")["href"]
                print(title)
                print(link)
            except:
                continue

title = result.find(“h3”).text
link = result.find(“a”)[“href”]
result.find()也就是寻找标签为（）里面内容的东西，这里也就不意义赘述了

总代码：

import requests
from bs4 import BeautifulSoup
import random
import time

def searchbaidu(keyword):
		url = f"https://www.baidu.com/s?wd={keyword}"
        user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/20.10240.16384 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/85.0.564.44 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.109 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.57 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/79.0.309.68 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/78.0.276.19 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/77.0.235.9 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/75.0.139.8 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/74.1.96.24 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/73.0.3683.75 Safari/537.36'
        ]
        headers = {
            'User-Agent': random.choice(user_agents)
        }

        response = requests.get(url, headers=headers)
        time.sleep(random.uniform(0.5, 3))  # 设置访问频率限制
        soup = BeautifulSoup(response.content, "html.parser")
        results = soup.find_all("div", class_="result")
        for result in results:
            try:
                title = result.find("h3").text
                link = result.find("a")["href"]
                print(title)
                print(link)
            except:
                continue
 searchbaidu("python")

调用函数寻找关键字为"python"的内容
结果：
在这里插入图片描述

大概就这样了~~

python网络爬虫——爬取网络关键字信息
weixin_66547608的博客
10-30 2431
这段代码使用了requests库和BeautifulSoup库来获取并解析搜狗搜索结果页面中的标题信息。具体的步骤如下： 导入所需的库：requests和BeautifulSoup。 定义了一个函数get_search_results()，用于获取关键字的搜索结果。 构造搜索关键字的URL，将关键字拼接到URL中。 设置请求头信息，包括User-Agent。 使用requests库的get()方法发送HTTP请求，并获取相应的内容。 检查响应状态码是否为200，如果是则表示请求成功，使用Beautiful
python如何爬虫网页数据-python网络爬虫爬取网页内容
weixin_37988176的博客
11-01 2118
1.什么是网络爬虫？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。换言之，如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取...
利用Python爬虫根据关键词获取商品列表
最新发布
2401_87849308的博客
03-15 592
通过上述方法，可以高效地利用Python爬虫技术根据关键词获取商品列表。希望本文能为你提供有价值的参考，帮助你更好地利用爬虫技术获取电商平台数据。在开发过程中，务必注意遵守平台规则，合理设置请求频率，并妥善处理异常情况，以确保爬虫的稳定运行。
学习日志：Python 实现网络爬虫——提取关键字
m0_71844907的博客
06-19 5631
编写一段Python代码，向百度提交查询关键词“桃花源记”，抓取百度的查询结果，要求有文字、链接，可以在浏览器中打开抓取的链接，或者调用浏览器打开抓取的链接。 红框内是根据网站信息需要更改的内容。 附上完整代码： import json import requests from lxml import etree headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, l..
python(2)-根据关键字进行图片爬虫
myGFZ的博客
01-02 1239
上一篇爬虫的实现，是通过输入网页url爬取该网页上的所有图片，这一篇博客，是根据输入关键字进行图片的爬虫，可以自己设置下载的页数和每页的图片数。 参考自：好吧，我找不到原博客了，抱歉。先直接贴源代码，然后比较关键的地方我写在注释里了：import requests import os#得到的结果根据urls返回 def getManyPages(keyword,pages): params=
使用Python爬虫根据关键字获取目标信息的方法与步骤
weixin_43448140的博客
09-29 4581
使用Python爬虫根据关键词获取目标网址信息。
爬虫第一例：爬取关键字搜索页面
qq_45063213的博客
08-05 1235
#!coding:utf-8 # 导入requests包 import requests # 1.指定url url = "https://www.sogou.com/web" # 因为url后面有参数，所以需要处理这些参数 # 参数 1 kw = input("搜索内容：") param = { 'query':kw # 封装到字典中 } # 参数 2 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win6.
Python入门与简易爬虫
qq_41843697的博客
11-14 608
一、环境与编译器安装 Mac安装：Mac上默认安装了python，直接通过终端输入python或python3就可以看到当前mac上的python版本。 Windows安装：Windows上默认没有安装python，需要去官网上下载对应系统的python安装文件： 确定好安装目录后，点击进行安装，一切默认即可。最后将安装目录添加到系统内的环境变量中即可。 再打开cmd命令提示行，输入python，查看到如下结果即证明安装成功。如果一直无法识别，要么就是路径添加错误，路径中不要有中文或其.
用python爬取亚马逊物品列表
GR001009的博客
09-18 1779
通过基础链接以及正则表达式匹配的方法进行替换的方式改变爬取页面
爬虫-实现一个简易的网页采集器
m0_57787326的博客
04-03 1504
1 requests模块的基本使用 """ 爬虫 """ """ 什么是爬虫? 就是通过编写程序模拟浏览器上网，然后让其去互联网上爬取数据的过程 爬虫的分类： 通用爬虫：抓取互联网中的一整张页面数据 聚焦爬虫：抓取页面中的局部数据 增量式爬虫：用来监测网站数据更新的情况，以便爬取到网站最新更新出来的数据 """ """ requests模块：Python中封装好的一个基于网络请求的模块。 作用：用来模拟浏览器发请求 requests模块的编码流程： 1.指定url
教你用python3根据关键词爬取百度百科的内容
12-25
前言 关于python版本，我一开始看很多资料说python2比较好，因为很多库还不支持3，但是使用到现在为止觉得还是pythin3比较好用，因为编码什么的问题，觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。 好了，开始说爬百度百科的事。 这里设定的需求是爬取北京地区n个景点的全部信息，n个景点的名称是在文件中给出的。没有用到api，只是单纯的爬网页信息。  1、根据关键字获取url 由于只需要爬取信息，而且不涉及交互，可以使用简单的方法而不需要模拟浏览器。 可以直接 http://baike.baidu.com/search/word?word
Python爬虫抓取论坛关键字过程解析
12-16
前言： 之前学习了用python爬虫的基本知识，现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员，想用爬虫程序搜索某论坛中对于某些演员的讨论热度，并按照日期统计每天的讨论量。 这个项目总共分为两步： 1.获取所有帖子的链接： 将最近一个月内的帖子链接保存到数组中 2.从回帖中搜索演员名字： 从数组中打开链接，翻出该链接的所有回帖，在回帖中查找演员的名字 获取所有帖子的链接： 搜索的范围依然是以虎扑影视区为界限。虎扑影视区一天约5000个回帖，一月下来超过15万回帖，作为样本来说也不算小，有一定的参考价值。 完成这一步骤，主要分为以下几步： 1.获取当前
爱站网关键字挖掘数据采集爬虫（按关键字）源码
02-07
分享完整的爱站网关键字挖掘数据采集爬虫（按关键字）源码，可直接使用，可选择是否登录，登录需输入验证码，爬取字段包括长尾词数量、收录数、优化难度等字段。
百度爬虫-获取指定关键词的搜索结果及url信息
04-08
一个小的爬虫程序，输入关键词，限制时间，所需条目数，返回在百度搜索得到结果的答案标题及HTML
【JS 逆向 AES逆向加密】Python爬虫实战，日子越来越有判头了
2401_84139697的博客
04-27 1101
数据找到了 现在开始寻找加密 但是突然发现没有 加密的关键字?那我们通过url 下手试试 在All里面全局 搜索 query/comp/list(url后面的参数)找到这个接口 鼠标右键 可以在源代码查看他慢慢调试 中间调试太多了 我就不一一截图出来了 跑到这里 发现data 里面的参数 和我们看到的加密一致h(t.data) 加密位置进去h里面 (鼠标光标放到 h上面 会显示他的 js地址 如果没有显示 就是证明你还没有执行到这里 需要在前面打上断点 刷新页面调试)
Python3网络爬虫开发实战（15）Scrapy 框架的使用（第一版）
bigcrab的博客
09-17 4501
scrapy 使用介绍
python得爬虫关键词
shanzhizi的专栏
10-10 3317
大数据的数据从哪里来？除了部分企业有能力自己产生大量的数据，大部分时候，是需要靠爬虫来抓取互联网数据来做分析。 网络爬虫是 Python 的传统强势领域，最流行的爬虫框架 Scrapy，HTTP 工具包 urlib2，HTML 解析工具 beautifulsoup，XML 解析器 lxml，等等，都是能够独当一面的类库。 不过，网络爬虫并不仅仅是打开网页，解析 HTML 这么简单。高效的爬虫要
python搜索引擎根据关键词爬取内容
qq_39178473的博客
04-06 6606
1.常见搜索引擎搜索格式： （1）百度搜索引擎： http://www.baidu.com.cn/s?wd=’ 关键词’&pn=‘分页’。 wd是搜索的关键词，pn是分页的页面，由于百度搜索每页的结果是十个（最上面的可能是广告推广，不是搜索结果），所以pn=0是第一页，第二页是pn=10… 例如https://www.baidu.com/s?wd=python&pn=0，得到的是关...
python爬虫如何通过关键字爬取网页详细版代码
11-22
Python 爬虫使用诸如 `requests` 和 `BeautifulSoup` 这样的库可以方便地抓取网页内容。这里是一个基本的示例，展示如何通过关键字搜索并爬取网页上相关的详细信息： 首先，你需要安装必要的库： ```bash pip install requests beautifulsoup4 ``` 然后，你可以编写如下的 Python 代码片段来实现这个功能： ```python import requests from bs4 import BeautifulSoup def search_and_crawl(keyword): # 设置起始URL url = "https://www.example.com" # 替换成你要爬取的网站 # 使用 requests 发送 GET 请求 response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: # 解析网页内容为 BeautifulSoup 对象 soup = BeautifulSoup(response.text, 'html.parser') # 找到包含关键字的元素，这里假设是段落(p)标签 results = soup.find_all('p', text=keyword) for result in results: print(result.get_text()) # 输出找到的信息 else: print(f"请求失败，状态码: {response.status_code}") # 调用函数，传入要搜索的关键字 search_and_crawl("关键词") # 将 "关键词" 替换为你想要查找的内容 ``` 在这个例子中，函数 `search_and_crawl` 接收一个关键字作为输入，然后在给定 URL 的 HTML 内容中寻找包含该关键字的段落。请注意，实际爬取过程中可能会遇到动态加载、反爬机制等问题，这需要额外处理。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

泉绮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值