python 网络爬虫全流程教学，从入门到实战（requests+bs4+存储文件）

已于 2023-11-08 19:49:30 修改
阅读量5.1k 收藏 93
点赞数 17
分类专栏： python 文章标签： python 爬虫 开发语言 requests bs4
于 2022-10-18 21:21:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57340195/article/details/127396708
版权

python 网络爬虫全流程教学，从入门到实战（requests+bs4+存储文件）

requests是一个Python第三方库，用于向URL地址发起请求
bs4 全名 BeautifulSoup4，是编写 python 爬虫常用库之一，主要用来解析 html 标签。


一、爬虫编写过程解析

1.1 导入库文件（请求库、解析库）

#导入 requests请求库
import requests

#导入bs4解析库
from bs4 import BeautifulSoup

如果没有上面的两个库文件可以通过以下两种方式安装：
方式一：去cmd命令窗口中输入：pip install requests 和 pip install BeautifulSoup4 命令。
方式二：通过在 Pycharm 里面安装：file > settings 接下来就是如下图所示：在这里插入图片描述

1.2 发起对指定网页的请求

#对爬取网页的链接
url='请求地址'

#请求头（作用：为了不被对方发现是爬虫的访问）
#去需要爬取网页上>打开开发者模式（F12）>网络（network）>随便点开一个文件>标头>请求头里的User-Agent
headers={'User-Agent': '请求头'}

#发起get请求，获取请求内容，并用（utf-8）解码（编码一般是：utf-8，gbk，gb2312）
html=requests.get(headers=headers,url=url).content.decode('utf-8')

1.3 解析为 bs4格式

#解析为bs4,BeautifulSoup(html文本,'解析器')，如下表
soup=BeautifulSoup(html,'html.parser')

如果一段HTML或XML文档格式不正确的话，那么在不同的解析器中返回的结果可能是不一样的。

解析器使用方法优势
Python标准库BeautifulSoup(html, “html.parser”)1、Python的内置标准库 2、执行速度适中 3、文档容错能力强
lxml HTMLBeautifulSoup(html, “lxml”)1、速度快 2、文档容错能力强
lxml XMLBeautifulSoup(html, [“lxml”, “xml”]) BeautifulSoup(html, “xml”)1、速度快 2、唯一支持XML的解析器
html5libBeautifulSoup(html, “html5lib”)1、最好的容错性 2、以浏览器的方式解析文档 3、生成HTML5格式的文档

1.4 解析获取的内容（获取想要的数据）

#获取想要的网页标签（如div）
Tdiv=soup.find_all('div',class_="div的class样式名")

#输出查找到的结构
print(Tdiv)

1.5 存储爬取的数据

#格式
with open('./文件路径/文件名.文件类型','权限') as f:
	f.write('字符型文本')



二、bs4核心函数

作用：获取，网页中的各个自己想要的标签，一般是从大标签到小标签的过程

操作案例百度

#导入库
from bs4 import BeautifulSoup
import requests

#百度的url地址
url="https://www.baidu.com/"
#请求头（作用：为了不被对方发现是爬虫的访问）
hearders={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36 Edg/105.0.1343.53'}
#获取百度的请求
html=requests.get(url=url, headers=hearders).content.decode("utf-8")
#解析为bs4
soup = BeautifulSoup(html,"html.parser")

2.1 find()

查找符合条件的第一个标签，结果是标签对象

find( name , attrs/class_ , recursive , string , **kwargs )

soup.find(‘标签名’，属性名=“属性”/class_=“类名”，recursive=“是否只要子节点（默认False）”，string=“标签内容”)

参数可以任意组合或只填写一个


①根据标签名定位第一个指定的标签
#查询出第一个p标签对象，并输出
print(soup.find('p'))

#查询出第一个a标签对象，并输出
print(soup.find('a'))

②根据属性名定位满足条件的第一个标签
#查询class属性为’s-top-wrap s-isindex-wrap‘的任意标签
print(soup.find(class_='s-top-wrap s-isindex-wrap'))

#查询id属性为s_top_wrap的所有标签，其他属性名照写
print(soup.find(id='s_top_wrap'))

③根据标签和标签属性定位
#查询class为’s-top-wrap s-isindex-wrap‘的一个div标签
print(soup.find('div',class_='s-top-wrap s-isindex-wrap'))

#查询id为s_top_wrap的第一个div标签
print(soup.find('div',id='s_top_wrap'))

④根据指定的标签名和对应的标签内容定位
#查询到内容为“设置“的第一个span标签
print(soup.find('span',string="设置"))

2.2 find_all()

和find()函数用法一样，不同之处在于find()只返回满足条件的第一个标签对象，而find_all()返回所有满足条件的标签对象，是一个列表。有时需要两个配合使用。


①根据标签名定位所有指定的标签
#查询所有是img的标签，返回的是一个列表
print(soup.find_all('img'))

②根据属性名定位所有满足条件的标签
#查询所有class属性为’s-top-wrap s-isindex-wrap‘的任意标签
print(soup.find_all(class_='s-top-wrap s-isindex-wrap'))

#查询id属性为s_top_wrap的所有标签，其他属性名照写
print(soup.find_all(id='s_top_wrap'))

③根据指定的标签和对应的属性名定位所有满足条件的标签
#查询所有class属性为's-top-wrap s-isindex-wrap'的div标签
print(soup.find_all('div',class_='s-top-wrap s-isindex-wrap'))

#查询所有id属性为's_top_wrap'的div的标签
print(soup.find_all('div',id='s_top_wrap'))

④根据指定的标签名和对应的标签内容定位
#查询内容为“设置“的所有span标签
print(soup.find_all('span',string="设置"))

2.3 select()

select()函数也是定位所有满足条件的标签，返回值也是一个列表


①根据标签名定位
#查询所有是img的标签，返回的是一个列表
print(soup.select("img"))

②根据标签名和属性定位
#查询class属性为’s-top-wrap‘的所有标签
print(soup.select('.s-top-wrap'))

#查询id属性为‘s_top_wrap'的所有标签
print(soup.select('#s_top_wrap'))

#通过标签名和属性一起配合查询,其他属性直接写对应的属性如：a[hrsr='https']
print(soup.select('div[id="s_top_wrap"]'))

③定位对应的子标签
#查所有a标签下的img标签
print(soup.select('a>img'))



三、bs4基本操作

作用：获取标签中自己想要的内容，如：文字、图片链接、视频链接、音频链接等

注意：soup只是一个变量，就是你查询出来后新的获取范围


3.1 获取标签内的文本

#分别获取a标签和p标签内的文本内容（推荐第一种方式）
print(soup.a.text)
print(soup.p.string)

3.2 获取标签属性

#获取第一个div标签的所有属性
print(soup.div.attrs)

3.3 获取指定标签的属性值

#获取div标签中的class属性的值
print(soup.div.attrs.get('class'))

#获取div标签中的id属性的值
print(soup.div.get('id'))

#获取img标签中的src属性的值
print(soup.img.get('src'))

3.4 遍历获取的标签的属性值

#获取到所有的img标签,返回值为列表
imgs=soup.find_all('img')
for i in imgs:
    #img标签中src的值
    print(i['src'])

#获取到所有的img标签,返回值为列表
imgs=soup.find_all('img')
for i in imgs:
    #img标签中src的值
    print(i.get('src'))

3.5 获取指定标签内所有的元素

print(soup.p.contents)

3.6 获取标签的父标签

print(soup.a.parent)



四、存储数据

1、存储为：文本文档（txt）、表格（excel）、图片、音频、视频
2、写出媒体思路：①在网页上找到媒体链接；②保存媒体链接；③向媒体链接发起请求；④通过返回的请求内容下载媒体

3、注意：本章节只讲解写操作，写出什么文件写什么格式


4.1 with open() as f: 用法

#格式
with open('./文件路径/文件名.文件类型','权限') as f:
	f.write('字符型文本')
权限作用
r读 取 ，读取文件里的内容
w写入，新的会覆盖旧的
a写入，在末尾追加写入，不会覆盖旧的
wb写入，以二进制的方式写入（图片、音频、视频）

4.2 写入为文本文档（txt）

#将变量里的内容写入到“文本.txt”文件中，没有"文本.txt"会自动创建
wb='我是被爬取下来的文字'
with open('文本.txt','w') as f:
    f.write(wb)

4.3 循环写入到文本文档中（txt）

#将列表里的内容循环到“文本.txt”文件中，没有"文本.txt"会自动创建
wb=['文本1','文本2','文本3','文本4']
for i in wb:
    with open('文本.txt','a') as f:
    	f.write(i)

4.4 存储图片

#导入请求库
import requests

#请求头
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.42'}

#图片地址列表
imgs=['https://img-blog.csdnimg.cn/a263ea6716ff44d4a2a825dbf26d2666.png','https://img-blog.csdnimg.cn/43112c81ed164acfb45295f516d08925.png']

#为图片命名的变量
i=1

#遍历图片地址
for img in imgs:
    #向图片地址发起请求，并且获取请求内容
    res=requests.get(url=img,headers=headers).content
    #写出图片（注意：权限是wb，写图片扩展名和获取的图片保存一致）
    with open(str(i)+'.png','wb') as f:
        #写出的参数为请求回来的内容
    	f.write(res)
    i+=1
print("写出成功！")

4.5 存储视频

写出音频也是如此

#导入库
import requests

#请求头
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.42'}

#视频地址
video='https://prod-streaming-video-msn-com.akamaized.net/3f6ca508-598d-4cbd-a3e2-43deea7bc377/b60c553e-9f3f-4164-8850-700a9a73a899.mp4'

#发起请求
res=requests.get(url=video,headers=headers).content

#写出视频
with open('视频.mp4','wb') as f:
    f.write(res)
print("写出成功！")

4.6 存储为excel

sheet.write（行，列，内容）

注意：行和列都是从0开始的，保存的格式为：.xls

#导入写出excel的库
import xlwt

#写入的数据
tn=['姓名','性别','年龄']
wb=['玲华','女','18']
#1、创建Workbook对象，就是创建Excel文件
work_boot=xlwt.Workbook(encoding='utf-8');

#2、创建sheet表单
sheet=work_boot.add_sheet('formName') #formName为表单名称

#3、写入内容
for i in range(len(wb)):
    sheet.write(0,i,tn[i])   #write(行,列,内容)
    sheet.write(1,i,wb[i])

#保存文件
work_boot.save("个人信息.xls")



五、爬虫实战操作

实战是需要自己去分析网页结构的，博主代码只是一种参考，还是要自己去分析。


5.1 百度热搜榜

获取标题、热度、简介、新闻链接、图片、文本保存为txt，并输出

注意：这里没有自动创建保存文件的文件夹，自行修改

#导入库文件
import requests
from bs4 import BeautifulSoup

#请求头
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.42'}
#请求地址
url='https://top.baidu.com/board?tab=realtime'

def Hot_search():
        #发起请求
        html=requests.get(url=url,headers=headers).text;
        #解析为bs4
        res=BeautifulSoup(html,"html.parser")
        #获取类名获取指定的div（包含所有的新闻信息）
        news_div=res.find_all("div",class_="category-wrap_iQLoo horizontal_1eKyQ")
        #遍历div（提取每一个新闻）
        for new in news_div:
            try:
                #获取新闻的标题（标题在下标为0的地方，获取文本）
                title=new.find_all("div",class_="c-single-text-ellipsis")[0].text
                #获取新闻的热度（热度在下标为0的地方，获取文本）
                hot=new.find_all("div",class_="hot-index_1Bl1a")[0].text
                #获取新闻的简介（简介在下标为0的地方，获取文本）
                conent=new.find_all("div",class_="hot-desc_1m_jR small_Uvkd3 ellipsis_DupbZ")[0].text
                #获取新闻的链接（通过第一个a标签，的href属性获取）
                newUrl=new.find('a').attrs.get('href')
                #获取要下载的图片链接的img标签（标签在下标为0的地方）
                imgUrl=new.find_all("img")[0]
                #获取要下载的图片链接（通过img的src属性获取）
                imgUrl=imgUrl.attrs.get('src')
                print('\n'+'标题：' + str(title) + '\n' + '热度：' + str(hot) + '\n' + '简介：' + str(conent) + '\n' + '新闻链接：' + str(newUrl) + '\n\n')
                #请求图片
                img=requests.get(url=imgUrl,headers=headers).content
                #写出图片
                with open('./百度热搜/' + str(title.strip()) + '.png', 'wb') as f:
                    f.write(img)
                #写出文本
                with open('./百度热搜/热搜文本.txt', 'a') as f:
                    f.write('\n'+'标题：' + str(title) + '\n' + '热度：' + str(hot) + '\n' + '简介：' + str(conent) + '\n' + '新闻链接：' + str(newUrl) + '\n\n')
            except:
                continue;
        print('写出成功！')
        
Hot_search()

5.2 爬取图片壁纸

注意：这里没有自动创建保存文件的文件夹，自行修改

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
}


def indexUrl():
    indexUrls = ['http://www.netbian.com/meinv/index.htm']
    for i in range(2,4):
        indexUrls.append('http://www.netbian.com/meinv/index_'+str(i)+'.htm')
    #保存图片链接
    imgUrls=[]
    #当作图片名字
    imgName=1;
    for i in indexUrls:
        html=requests.get(url=i,headers=headers).content.decode('gbk')

        soup=BeautifulSoup(html,'html.parser')
        Alable=soup.find('div',class_='list').find_all('a')
        # print(Alable)
        for i in Alable:
            #获取图片地址的后半段地址
            iUrlP=i.attrs.get('href')
            #去除无效地址
            if 'http' in iUrlP:
                continue;
            #将残缺的图片页面地址拼起来，形成完整图片页面地址
            imgUrlP= 'http://www.netbian.com' + iUrlP
            #向图片网页发起请求
            imgPage=requests.get(url=imgUrlP,headers=headers).content.decode('gbk')
            #将请求回来的源码转换为bs4
            soup=BeautifulSoup(imgPage,'html.parser')
            #获取图片链接地址
            imgUrl=soup.find_all('div',class_='pic')[0].find('img').attrs.get('src')
            #将图片地址保存到列表中（可以不存）
            imgUrls.append(imgUrl)
            #向图片地址发起请求
            imgget=requests.get(url=imgUrl,headers=headers).content;
            #下载图片
            with open('./壁纸/'+str(imgName)+'.jpg','wb') as f:
                f.write(imgget)
                imgName+=1;
    print('下载成功')

indexUrl()

5.3 豆瓣电影 Top 250

结果保存到excel中的

import requests;
from bs4 import BeautifulSoup
import xlwt

# https://movie.douban.com/top250?start=25&filter=
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.42'}


#获取翻页页面连接
def top250Urls():
    purls=[]
    urls=[]
    for i in range(0,25,25):
        url = 'https://movie.douban.com/top250?start='+str(i)+'&filter='
        purls.append(url)
    for purl in purls:
        html=requests.get(url=purl,headers=headers).content.decode('utf-8')
        soup=BeautifulSoup(html,'html.parser')
        movie_div = soup.find_all('div', class_='item')
        for movie in movie_div:
            movieUrl = movie.find_all("div", class_="pic")[0]
            movieUrl=movieUrl.find('a')
            movieUrl=movieUrl.attrs.get('href')
            urls.append(movieUrl)
    return urls,



def Top250():
    moviesTop=[]
    urls=top250Urls()[0]
    for url in urls:
        html=requests.get(url=url,headers=headers).content.decode('utf-8')
        soup=BeautifulSoup(html,"html.parser")
        title=soup.find_all('span',property="v:itemreviewed")[0].text;
        move_info=soup.find_all('div',id="info")[0]
        performer=move_info.find_all('a',rel="v:starring")
        actors=[]
        for per in performer:
            actors.append(per.text)
        typeSpan=move_info.find_all('span',property="v:genre")
        types=[]
        for type in typeSpan:
            types.append(type.text)
        content = soup.find_all('span', property="v:summary")[0].text.strip('\n')
        movies={
            'title': title,
            'performer': actors,
            'type': types,
            'content': content
        }
        moviesTop.append(movies)
    WriteExcle(moviesTop)
        # return moviesTop;



def WriteExcle(movies):
    try:
        #1、创建Workbook对象，就是创建Excel文件
        work_boot=xlwt.Workbook(encoding='utf-8');
        #2、创建sheet表单
        sheet=work_boot.add_sheet('formName') #formName为表单名称
        #3、写入Excel表头
        header=['电影名','演员','类型','电影简介'];
        for i in range(len(header)):
            sheet.write(0,i,header[i]);  #write(行,列,内容)

        #写入Excel内容
        for i in  range(len(movies)):
            sheet.write(i+1,0,movies[i]['title'])
            sheet.write(i+1, 1, movies[i]['performer'])
            sheet.write(i+1, 2, movies[i]['type'])
            sheet.write(i+1, 3, movies[i]['content'])
        #保存文件
        work_boot.save("小电影.xls")
        print('写入成功！')
    except:
        print('写入失败！')

Top250()

求求点赞、评论、收藏呀~

永恒之月℡
关注
  • 17
    点赞
  • 踩
  • 93
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python网页爬虫requests和bs4应用
m0_58239511的博客
10-18 696
python爬虫工具讲解
python利用re,bs4,requests模块获取股票数据
09-18
本文将详细讲解如何使用`re`（正则表达式）、`bs4`（BeautifulSoup）和`requests`这三个Python模块来实现股票数据的抓取。 首先，`requests`模块用于发送HTTP请求，它可以获取网页的HTML内容。在本示例中，`...
python爬虫-BeautifulSoup4的使用
刘欣的博客
07-09 995
怎样使用BeautifulSoup+requests进行数据抓取 下面给大家详细的介绍并带大家对网页进行实践操作，看完你就会觉得很简单
Python爬虫——用Pycharm写一个爬虫程序，Python开发了解这些自然无惧面试
最新发布
2301_77094372的博客
04-10 2083
python爬虫是非常常见的数据抓取工具，用Python能够很快地爬取我们需要的数据。作为一名新手，写的文章不好，希望大家能够多多批评指正，我将不胜感激。希望大家多多支持我哦，我会努力提高自己的编程能力，给大家奉上更加优质的内容。
Python爬虫2--数据解析方法：bs4库的使用和案例
Sun123234的博客
01-31 1769
Python爬虫2--数据解析方法：bs4库的使用和案例
Python爬虫必备！教你如何使用Beautiful Soup解析网页
weixin_68789096的博客
05-20 1695
Beautiful Soup库是一个Python库，用于从HTML和XML文档中提取数据。它能够自动将输入文档转换为Unicode编码，因此你不必担心编码问题。此外，它还能够处理坏的HTML和XML文档。在本文中，我们介绍了Beautiful Soup库的基本知识，包括解析HTML文档、使用CSS选择器查找元素以及从网页中提取数据。通过使用Beautiful Soup库，你可以轻松地从网页上提取数据，无论是从单个页面还是整个网站。希望这篇文章能够帮助你开始使用Beautiful Soup库，提取网页数据。
python bs4爬虫练习手把手教程
meowkiri_song的博客
05-18 1038
爬虫教学及实践项目；bs4；python文件操作；try的用法
使用requests库和beautifulsoup4库爬虫
blog
07-02 9354
一、简介 网络爬虫一般分为两个过程： 通过网络连接获取网页内容，即以HTML语言写成的网页源代码，具有此功能的函数库有urllib、urllib2、urllib3、wget、scrapy、requests等。 对获得的网页内容进行处理，可通过re（正则表达式）、beautifulsoup4等函数库来处理。 下面介绍最重要且最主流的requests和beautifulsoup4函数库。 首先...
从零开始学Python网络爬虫1
08-03
本节我们学习了 Python 网络爬虫的基础知识点，包括字符串格式化、爬虫原理、爬虫三大库、爬虫流程和 Requests 库的错误和异常。这些知识点是 Python 网络爬虫的基础，掌握这些知识点对于学习 Python 网络爬虫非常...
python网络爬虫零基础入门-思维导图合集，01-爬虫基础、02-requests模块、03-数据提取、04-selenium
03-30
本文将为读者介绍如何使用Python语言进行网络爬虫,从零基础开始学习这门技能。 首先,需要安装Python语言环境和相关爬虫库。Python官网提供了简单的安装步骤,主要包括安装Python解释器和pip包管理工具。然后使用pip ...
《Python网络爬虫》实验报告二.docx
12-17
Python 网络爬虫实验报告二 本实验报告的主要内容是使用 Python 实现网络爬虫，抓取“学习强国”主页面的日志信息。下面我们将详细介绍实验的步骤和相关知识点。 一、实验准备 在开始实验之前，我们需要安装 ...
Python爬虫使用bs4方法实现数据解析
09-16
标题中的“Python爬虫使用bs4方法实现数据解析”指的是使用Python编程语言编写网络爬虫时，通过...同时，结合requests库，可以实现完整的网页抓取流程，从请求网页到存储数据，形成一个完整的爬虫解决方案。
Python网络爬虫分享会1
08-08
Python爬虫因其便捷性和丰富的库支持，在业界得到了广泛应用。 首先，网络爬虫被定义为按照一定规则自动抓取互联网信息的程序或脚本。一个典型的网络爬虫系统通常由控制器、解析器和资源库三部分组成： 1. 控制器...
python爬虫学习笔记 2.9 （使用bs4得案例）
12-21
python爬虫学习笔记 2.9 （使用bs4得案例） python爬虫学习笔记 1.1（通用爬虫和聚焦爬虫） python爬虫学习笔记 1.2 （ HTTP和HTTPS ） python爬虫学习笔记 1.3 str和bytes的区别 python爬虫学习笔记 1.4 （Request...
python爬虫实战+数据分析+数据可视化（分析豆瓣 《飞驰人生》影评）
12-21
 在学习了python爬虫（requests,bs4）以及numpy、pandas、matplotlib库之后，就想试个小项目磨磨刀。之前只会单方面的使用，比如爬取一个网站相关数据 或者 对已经给了的数据进行分析。这个项目将这几个部分串起来...
Python爬虫技术入门到高级第四章
04-06
t(url, json=data, headers=headers)print(response.json())``` 上述代码中，`json` 参数用于设置 JSON 格式的请求体，而 `...通过掌握 Requests 库，开发者能够更高效地编写网络爬虫程序，从互联网上获取所需的数据。
python 爬虫热身篇 使用 requests 库通过 HTTP 读取网络数据，使用 pandas 读取网页上的表格，使用 Selenium 模拟浏览器操作
a883774913的博客
08-08 2460
本教程分为三个部分;使用requests库使用panda在网络上阅读表格用selenium阅读动态内容。
python爬虫-利用requests,bs4获取天天书屋的在线阅读内容并存为txt文档
周先森爱吃素的博客
08-04 1053
大致思路是从该书籍的阅读首页开始，利用request访问网页（利用了代理ip，用户代理伪装），然后将解码获得的文件bs4搜索得到每一章的链接，并且访问他。 这是首页 查看源代码，不难找到存放章节链接的标签a 处理手段是利用bs4找到所有的a标签并且循环遍历a标签的列表，知道找到章节一的标签才开始操作。  操作如下： 通过字符串拼接得到章节所在url，并且访问。 例如第一章 参看源代...
基于Request+bs4技术路线实现中国大学排名定向爬虫
Jock2018的博客
01-22 629
中国大学排名定向爬虫实战一、前期准备1. 功能描述2. 定向爬虫可行性分析3. 程序结构设计二、代码的实现1. 函数的框架实现2. 函数功能实现，完成代码三、代码优化问题1. 优化apparent_encoding问题2. 输出结果的中文对齐问题四、回顾与总结1. 本爬虫的技术难点：2. 个人的一些体会五、参考资料 一、前期准备 1. 功能描述 爬取2018年中国最好大学的排名，中国最好大学排名2...
1.编程实现：利用requests爬虫库和beautifulsoup4解析库实现指定网站文章标题和对应网址爬取。 已知： （1）爬取网址：信息学院首页 编程实现爬取"计算机科学系"在"信息学院"主页上的网址
05-30
好的，我可以为您编写Python代码实现爬取信息学院主页上计算机科学系的网址。请先确保已经安装了requests和beautifulsoup4库。 ```python import requests from bs4 import BeautifulSoup # 定义要爬取的网址 url = "http://xxxy.sdu.edu.cn/" # 发送get请求，获取响应内容 response = requests.get(url) # 使用BeautifulSoup解析html内容 soup = BeautifulSoup(response.content, 'html.parser') # 找到计算机科学系的标签 tag = soup.find('a', text='计算机科学系') # 获取计算机科学系的网址 link = tag['href'] # 输出结果 print("计算机科学系的网址为：" + link) ``` 运行上述代码，即可输出信息学院主页上计算机科学系的网址。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值