Python 数据采集-爬取厦门大学官网新闻标题与链接（一）

最新推荐文章于 2024-05-30 10:08:42 发布
最新推荐文章于 2024-05-30 10:08:42 发布
阅读量2.1k 收藏 34
点赞数 6
分类专栏： 数据处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Pola_/article/details/121705884
版权

Python 数据采集-爬取厦门大学官网新闻标题与链接

前言

列表有一个朋友的学校是厦门大学，想起来之前高三我和室友的约定，我想去集美大学，朋友想去厦门大学，结果，我们两个都没有考上哈哈哈

之前我说要更博文，但是突如其来的一个项目打乱了我的计划，直至今天，我应该是拨乱反正了，所以今天及之后开始继续更博文，之前新闻爬取的小结里说可以以我的思路去尝试一下爬取其他学校的新闻，不知道你们试了没，反正我没试哈哈哈，今天数据采集课无聊，突然想起来，要不带你们爬一下厦门大学官网的新闻吧，验证一下思路是否通用可行

别怀疑了宝，我试过了，思路绝对可行哈哈哈！

⭐ 本文基于学校的课程内容进行再次扩展尝试，所爬取的数据均为学习使用，请勿用于其他用途

一、爬取栏目的单页内容

00 思路分析

按照之前的思路，所有的新闻整体是被包在一个div标签里，因此我们选择网页调试，找到这个div标签，并找出识别该div标签的条件，之后观察每条新闻是如何展示的，进而找出获取新闻标题及链接的条件，如下图所示：

调试观察可知：
① 所有的新闻整体都被包在一个class属性为tab-content的div标签里
② 每一条新闻的都被包在一个class属性为media-heading的h4标签里，其中新闻链接与新闻标题被包裹在h4标签下的a标签里
③ 至此，我们获取单页内容的思路就基本清晰了：
        1> 获取页面整体内容
        2> 从页面整体内容内查找并获取class="tab-content"的div标签下的内容
        3> 从获取class="tab-content"的div标签下的内容内查找并获取所有class="media-heading"的h4标签下的内容

在这里插入图片描述

01 代码实现

接下来动手将思路换成代码，我们在爬取的过程输出打印新闻链接和新闻标题，并将爬取的结果存入urlList.txt 文件中，代码实现如下：

# 厦门大学新闻爬取
# coding=utf-8
import urllib.request
from urllib.parse import urljoin

from bs4 import BeautifulSoup

# 读取URL的HTML代码，输入 URL，输出 html
response = urllib.request.urlopen('https://alumni.xmu.edu.cn/xwzx/tzgg.htm')
content = response.read().decode('utf-8')

# 解析
soup = BeautifulSoup(content, 'html.parser')
divs = soup.find_all('div', {'class': "tab-content"})
# media-heading
hs = divs[0].find_all('h4')

with open('urlList.txt', 'w', encoding='utf8') as fp:
    for h in hs:
        url1 = "https://zs.xmu.edu.cn/"
        url2 = h.find_all('a')[0].get("href")
        # 使用urllib的urljoin()拼接两个地址
        # urljoin的第一个参数是基础母站的url, 第二个是需要拼接成绝对路径的url
        # 利用urljoin，我们可以将爬取的url的相对路径拼接成绝对路径
        url = urljoin(url1, url2)
        title = h.findAll('a')[0].text
        # 用以提示在爬取中
        print(url+','+title)
        fp.write(url + "," + title + '\n')
    # 用以提示爬取结束
    print("爬取结束！！！")

二、实现自动翻页爬取

00 思路分析

浏览器实现翻页是因为我们点击了跳转下一页的链接，然后浏览器根据链接获取下一页的内容展示给我们，同理，实现翻页就是获取下一页的链接，然后我们根据这个链接按照上面爬取单页的思路去爬取每一页，因此我们第一步要做的就是获取下一页的链接，搞清楚了翻页，接下来实现自动翻页，也就是一句循环解决的问题，但关键在于循环结束的条件是什么，即我们怎么判断现在已经到最后一页了？所以第二步要做的就是找出判断当前页是最后一页的条件。所以，宝，现在我们开始网页调试叭：

调试观察可知：
① 所有的按钮都包裹在一个class属性为p_pages的span标签里
② 下一页的链接包裹在一个class属性为p_next p_fun的span标签里
③ 调试第一页的网页，我们可以获取到尾页的链接，即最后一页的链接，因此，要想知道当前页是否为最后一页，只需将当前页的链接与尾页的链接进行比较，如果相等，则是最后一页
至此，我们实现自动翻页的思路就基本清晰了：
        1> 从获取的页面整体内容内查找并获取class="p_pages"的span标签下的内容
        2> 从获取的class="p_pages"的span标签下的内容内查找并获取class="p_next p_fun"的span标签下的a标签里的相对路径的下一页链接
        3> 使用while循环执行以上步骤，实现自动翻页，其中 while 循环结束的条件是当前页的链接等于尾页的链接

在这里插入图片描述

01 代码实现

相较于上一步，我们多了while循环实现自动翻页爬取的代码，代码实现如下：

# 厦门大学新闻爬取
# coding=utf-8
import urllib.request
from urllib.parse import urljoin

from bs4 import BeautifulSoup

conUrl = 'https://alumni.xmu.edu.cn/xwzx/tzgg.htm'

# 读取URL的HTML代码，输入 URL，输出 html
response = urllib.request.urlopen(conUrl)
content = response.read().decode('utf-8')

# 解析
soup = BeautifulSoup(content, 'html.parser')
spans = soup.find_all('span', {'class': "p_pages"})
# 获取下一页链接
nextPage = spans[0].find_all('span', {'class': "p_next p_fun"})
nextPageHref = nextPage[0].find_all('a')[0].get("href")
# 获取尾页（最后一页）链接
lastPage = spans[0].find_all('span', {'class': "p_last p_fun"})
lastPageHref = lastPage[0].find_all('a')[0].get("href")

while conUrl != lastPageHref:
    divs = soup.find_all('div', {'class': "tab-content"})
    # media-heading
    hs = divs[0].find_all('h4')
    pageNum = divs[0].find_all('span', {'class': "p_no_d"})
    pageNum = pageNum[0].text
    with open('urlList.txt', 'a+', encoding='utf8') as fp:
        for h in hs:
            url1 = "https://zs.xmu.edu.cn/"
            url2 = h.find_all('a')[0].get("href")
            # 使用urllib的urljoin()拼接两个地址
            # urljoin的第一个参数是基础母站的url, 第二个是需要拼接成绝对路径的url
            # 利用urljoin，我们可以将爬取的url的相对路径拼接成绝对路径
            url = urljoin(url1, url2)
            title = h.findAll('a')[0].text

            # 用以提示在爬取中
            print(url + ',' + title)
            fp.write(url + "," + title + '\n')

        # 用以提示爬取第几页结束
        print("第" + pageNum + "页爬取结束！！！")

    spans = soup.find_all('span', {'class': "p_pages"})
    pageNum = spans[0].find_all('span', {'class': "p_no_d"})
    pageNum = pageNum[0].text
    # pageNum 用以识别当前页是否为最后一页
    if pageNum != '3':
        nextPage = spans[0].find_all('span', {'class': "p_next p_fun"})
        conUrl = nextPage[0].find_all('a')[0].get("href")
        # 不同页爬取的下一页链接的缺失的母站url不同
        # 用以识别当前页是否为第1页，从而决定需要拼接的基础母站url
        if pageNum == '1':
            url = "https://alumni.xmu.edu.cn/xwzx/"
            # i = i+1
        else:
            url = "https://alumni.xmu.edu.cn/xwzx/tzgg/"
        conUrl = urljoin(url, conUrl)
        response = urllib.request.urlopen(conUrl)
        content = response.read().decode('utf-8')
        # https://alumni.xmu.edu.cn/xwzx/tzgg/2.htm
        # 解析
        soup = BeautifulSoup(content, 'html.parser')
    else:
        break

三、实现自动切换不同栏目爬取

00 思路分析

宝，是不是可以看到厦门大学的新闻分很多个栏目，之前爬河科的新闻时也有分不同栏目，但我们只爬了第一个栏目，这次我们加点难度，把所有栏目下的新闻都爬下来。这就要求我们做到在爬完一个栏目后自动切换到其他栏目继续爬取，直到所有栏目都爬取完。

实现自动切换不同栏目的本质上和实现自动翻页爬取极其相似，浏览器实现切换栏目就是因为我们点击栏目对应的链接，浏览器根据链接跳转到对应的栏目，同理，实现自动切换不同栏目就是我们从网页中获取栏目的链接然后给浏览器，宝，想一想，这和上一步是不是极其相似，要不我叫它“翻栏”？会不会更容易理解一点哈哈哈

因此我们第一步要做的就是获取当前栏目的下一个栏目的链接，搞清楚了“翻栏”，接下来实现切换不同栏目，也就是一句循环解决的问题，这次还是while循环吗？

不，宝，你没发现我们可以获取到一个存着所有栏目及栏目链接的li列表吗？我们直接使用for循环遍历li列表，然后获取栏目名称及栏目链接，之后根据栏目链接开始之前两步的过程，但是宝，你要注意：

行业新闻的栏目下没有任何新闻，如果还进行之前两步的过程就会解析出错，所以在开始爬取所有栏目下的新闻前，我们要判断一下当前栏目是否为行业新闻栏目，如果是，就跳过进行下一次循环，

并且我们在存储时也可以玩的花哨一点哈哈哈，使用栏目名称来命名，分门别类的存储不同栏目的新闻信息。所以，宝，现在我们开始网页调试叭：

调试观察可知：
① 所有的栏目都包裹在一个class属性为cuhksz-news-column-title-list的ul标签里
② 每一个栏目的链接包裹在一个ul标签下的li标签里，且当前栏目会有class属性为active，而其它栏目则没有该属性
③ 根据网页展示以及②中当前栏目不同于其它栏目的热性可知，最后一个栏目是校友动态，因此，要想知道当前栏目是否为最后一个栏目，只需判断class=active的li标签里的链接文本内容是否为校友动态即可
至此，我们实现自动切换不同栏目的思路就基本清晰了：
        1> 从获取的页面整体内容内查找并获取class="cuhksz-news-column-title-list"的ul标签下的内容
        2> 从获取的class="cuhksz-news-column-title-list"的ul标签下的内容内查找并获取data-type="news"的li标签下的a标签里的相对路径的栏目链接
        3> 找出拥有class="active"属性的栏目的下一个栏目链接并跳转
        4> 使用while循环执行以上步骤，实现自动切换不同栏目，其中 while 循环结束的条件是拥有class="active"属性的li标签下的a标签的文本内容为校友动态

在这里插入图片描述

01 代码实现

之前两步我们已经实现了爬取一个栏目所有页新闻的完整功能，现在，我们需要做的是将以上代码整体嵌入进一个用以切换栏目的while循环，代码实现如下：

# 厦门大学新闻爬取
# coding=utf-8
import urllib.request
from urllib.parse import urljoin

from bs4 import BeautifulSoup

conUrl = 'https://alumni.xmu.edu.cn/xwzx/tzgg.htm'

# 读取URL的HTML代码，输入 URL，输出 html
response = urllib.request.urlopen(conUrl)
content = response.read().decode('utf-8')

# 解析
soup = BeautifulSoup(content, 'html.parser')
uls = soup.find_all('ul', {'class': "cuhksz-news-column-title-list"})
lis = uls[0].find_all('li', {'data-type': "news"})
print(lis)
for li in lis:
    # 栏目名称
    colName = li.findAll('a')[0].text
    # 栏目链接
    colHref = li.find_all('a')[0].get("href")
    baseUrl = "https://alumni.xmu.edu.cn/xwzx/"
    colUrl = urljoin(baseUrl, colHref)
	# 判断当前栏目是否为‘行业新闻’栏目
    if colName != '行业新闻':
        # 读取URL的HTML代码，输入 URL，输出 html
        response = urllib.request.urlopen(colUrl)
        content = response.read().decode('utf-8')

        # 解析
        soup = BeautifulSoup(content, 'html.parser')
        spans = soup.find_all('span', {'class': "p_pages"})

        # 获取下一页链接
        nextPage = spans[0].find_all('span', {'class': "p_next p_fun"})
        nextPageHref = nextPage[0].find_all('a')[0].get("href")
        # 获取尾页（最后一页）链接
        lastPage = spans[0].find_all('span', {'class': "p_last p_fun"})
        lastPageHref = lastPage[0].find_all('a')[0].get("href")

        while conUrl != lastPageHref:
            divs = soup.find_all('div', {'class': "tab-content"})
            # media-heading
            hs = divs[0].find_all('h4')
            pageNum = divs[0].find_all('span', {'class': "p_no_d"})
            pageNum = pageNum[0].text
            with open(colName+'.txt', 'a+', encoding='utf8') as fp:
                for h in hs:
                    url1 = "https://zs.xmu.edu.cn/"
                    url2 = h.find_all('a')[0].get("href")
                    # 使用urllib的urljoin()拼接两个地址
                    # urljoin的第一个参数是基础母站的url, 第二个是需要拼接成绝对路径的url
                    # 利用urljoin，我们可以将爬取的url的相对路径拼接成绝对路径
                    url = urljoin(url1, url2)
                    title = h.findAll('a')[0].text

                    # 用以提示在爬取中
                    print(url + ',' + title)
                    fp.write(url + "," + title + '\n')

                # 用以提示爬取第几页结束
                print("第" + pageNum + "页爬取结束！！！")

            spans = soup.find_all('span', {'class': "p_pages"})
            pageNum = spans[0].find_all('span', {'class': "p_no_d"})
            pageNum = pageNum[0].text

            # 不同栏目的页数不同
            if colName == '通知公告':
                endPageNum = '3'
            elif colName == '总会资讯':
                endPageNum = '11'
            elif colName == '各地讯息':
                endPageNum = '12'
            elif colName == '院系新闻':
                endPageNum = '4'
            elif colName == '校友动态':
                endPageNum = '13'

            # pageNum 用以识别当前页是否为最后一页
            if pageNum != endPageNum:
                nextPage = spans[0].find_all('span', {'class': "p_next p_fun"})
                conUrl = nextPage[0].find_all('a')[0].get("href")
                # 不同页爬取的下一页链接的缺失的母站url不同
                # 用以识别当前页是否为第1页，从而决定需要拼接的基础母站url
                if pageNum == '1':
                    url = "https://alumni.xmu.edu.cn/xwzx/"
                else:
                    url = colUrl[0:35]+'/'
                nextPageUrl = urljoin(url, conUrl)
                response = urllib.request.urlopen(nextPageUrl)
                content = response.read().decode('utf-8')
                # 解析
                soup = BeautifulSoup(content, 'html.parser')
            else:
                break
    else:
    	# 跳过本次循环进行下一次循环
        continue

四、完整代码展示

# 厦门大学新闻爬取
# coding=utf-8
import urllib.request
from urllib.parse import urljoin

from bs4 import BeautifulSoup

conUrl = 'https://alumni.xmu.edu.cn/xwzx/tzgg.htm'

# 读取URL的HTML代码，输入 URL，输出 html
response = urllib.request.urlopen(conUrl)
content = response.read().decode('utf-8')

# 解析
soup = BeautifulSoup(content, 'html.parser')
uls = soup.find_all('ul', {'class': "cuhksz-news-column-title-list"})
lis = uls[0].find_all('li', {'data-type': "news"})
print(lis)
for li in lis:
    # 栏目名称
    colName = li.findAll('a')[0].text
    # 栏目链接
    colHref = li.find_all('a')[0].get("href")
    baseUrl = "https://alumni.xmu.edu.cn/xwzx/"
    colUrl = urljoin(baseUrl, colHref)

    if colName != '行业新闻':
        # 读取URL的HTML代码，输入 URL，输出 html
        response = urllib.request.urlopen(colUrl)
        content = response.read().decode('utf-8')

        # 解析
        soup = BeautifulSoup(content, 'html.parser')
        spans = soup.find_all('span', {'class': "p_pages"})

        # 获取下一页链接
        nextPage = spans[0].find_all('span', {'class': "p_next p_fun"})
        nextPageHref = nextPage[0].find_all('a')[0].get("href")
        # 获取尾页（最后一页）链接
        lastPage = spans[0].find_all('span', {'class': "p_last p_fun"})
        lastPageHref = lastPage[0].find_all('a')[0].get("href")

        while conUrl != lastPageHref:
            divs = soup.find_all('div', {'class': "tab-content"})
            # media-heading
            hs = divs[0].find_all('h4')
            pageNum = divs[0].find_all('span', {'class': "p_no_d"})
            pageNum = pageNum[0].text
            with open(colName+'.txt', 'a+', encoding='utf8') as fp:
                for h in hs:
                    url1 = "https://zs.xmu.edu.cn/"
                    url2 = h.find_all('a')[0].get("href")
                    # 使用urllib的urljoin()拼接两个地址
                    # urljoin的第一个参数是基础母站的url, 第二个是需要拼接成绝对路径的url
                    # 利用urljoin，我们可以将爬取的url的相对路径拼接成绝对路径
                    url = urljoin(url1, url2)
                    title = h.findAll('a')[0].text

                    # 用以提示在爬取中
                    print(url + ',' + title)
                    fp.write(url + "," + title + '\n')

                # 用以提示爬取第几页结束
                print("第" + pageNum + "页爬取结束！！！")

            spans = soup.find_all('span', {'class': "p_pages"})
            pageNum = spans[0].find_all('span', {'class': "p_no_d"})
            pageNum = pageNum[0].text

            # 不同栏目的页数不同
            if colName == '通知公告':
                endPageNum = '3'
            elif colName == '总会资讯':
                endPageNum = '11'
            elif colName == '各地讯息':
                endPageNum = '12'
            elif colName == '院系新闻':
                endPageNum = '4'
            elif colName == '校友动态':
                endPageNum = '13'

            # pageNum 用以识别当前页是否为最后一页
            if pageNum != endPageNum:
                nextPage = spans[0].find_all('span', {'class': "p_next p_fun"})
                conUrl = nextPage[0].find_all('a')[0].get("href")
                # 不同页爬取的下一页链接的缺失的母站url不同
                # 用以识别当前页是否为第1页，从而决定需要拼接的基础母站url
                if pageNum == '1':
                    url = "https://alumni.xmu.edu.cn/xwzx/"
                else:
                    url = colUrl[0:35]+'/'
                nextPageUrl = urljoin(url, conUrl)
                response = urllib.request.urlopen(nextPageUrl)
                content = response.read().decode('utf-8')
                # https://alumni.xmu.edu.cn/xwzx/tzgg/2.htm
                # 解析
                soup = BeautifulSoup(content, 'html.parser')
            else:
                break
    else:
        continue

五、小结

至此，我们按照之前的思路同步的去爬了厦门大学官网的新闻信息，当然，代码上有一些细节的改动，这是不可避免的，因为不同网站设计也不同，但是掌握这整个思路，基本上是可以通用的，还是那句，静态网站比较简单，各种细节经过调试也容易发现…

好吧，宝，今天我不想写总结了，有问题或不理解的私信或评论我都可！

（词频统计还有其他博文之后会更）

爪喵喵
关注
  • 6
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Python 万能代码模版：爬虫代码篇
m0_67402341的博客
08-02 2122
你好，我是悦创。很多同学一听到Python或编程语言，可能条件反射就会觉得“很难”。但今天的Python课程是个例外，因为今天讲的**Python技能，不需要你懂计算机原理，也不需要你理解复杂的编程模式。**即使是非开发人员，只要替换链接、文件，就可以轻松完成。并且这些几个实用技巧，简直是Python日常帮手的最佳实践。接下来，我们就逐一用Python实现，其中我提供的代码是万能代码，只用替换成你想爬的网页链接、文件位置、照片就可以进行处理了。**Tips.py文件。...
爬取广东工业大学官网新闻并发送到QQ邮箱
12-21
此爬虫程序大致分为以下步骤： 1. 获取官网页面 2. 提取各新闻的链接 3. 提取各板块的新闻标题 4. 发送到QQ邮箱 1. 首先使用Requests库获取官网页面： import requests def get_html(url): print("正在获取页面……") headers = { 'Cookie': "UM_distinctid=17101abc69635b-0e556116b0f673-f313f6d-144000-17101abc6973c8; JSESSIONID=3178C10CD6DE2F5EA6033F90566F562
Python 数据采集-爬取学校官网新闻标题与链接（进阶）
热门推荐
Pola_的博客
11-15 1万+
Python 爬虫爬取学校官网新闻标题与链接一、拼接路径二、存储三、读取翻页数据四、 一、拼接路径 二、存储 三、读取翻页数据 四、
Python网络爬虫-爬取学校官网新闻
最新发布
qq_65974842的博客
05-30 1763
⭐ 本文基于学校的课程内容进行总结，所爬取的数据均为学习使用，请勿用于其他用途一、准备工作确定目标网站：首先，明确要爬取的学校官网地址，并熟悉其新闻发布页面的结构和规律。安装必要的库：使用Python进行网络爬虫需要安装一些必要的库：是一个 Python 的 HTTP 客户端库，使用requests可以方便地发送所有类型的 HTTP 请求。是一个用于处理 XML 和 HTML 文档的 Python 库。是一个用于读写Excel文件（特别是.xlsx格式）的Python库。
Python 数据采集——爬取school news链接和标题
耶耶猫猫的博客
09-21 2626
用urlopen+Beautifulsoup完成一个学校新闻标题的爬取任务准备工作
Python爬虫 爬取标题及内容
m0_60964321的博客
09-21 8233
这次爬取过程和上篇文章中爬取必应图片大同小异常，唯一区别在于对需要登陆页面的处理，加个cookie就好啦，最后有不懂的地方欢迎评论私信哦。
数据采集（二）：腾讯新闻网，新闻标题和内容爬取
czl389的专栏
07-20 8794
比如我对“科技”版块感兴趣，科技版块的链接是“http://tech.qq.com/” 。 首先使用requests请求网页内容。status_code为200表示请求成功。headers是将请求伪装成浏览器行为。timeout设置不能太小，考虑到人的访问手速。import requestsheaders={ 'User-Agent':'Mozilla/5.0 (Windows NT 10
《网络编程综合实践》：高校爬虫（厦大，南理，华大）
weixin_46531010的博客
11-02 171
用Python程序抓取一个或多个特定高校的历年录取分数线，并对抓取的数据格式化或存入sqllite或者mysql数据库。
Python爬虫-爬取目标城市酒店数据
11-12
通过python爬虫采集城市的酒店数据 内容概要：使用python采集酒店数据 适用人群：做酒店数据市场调研，数据分析报告的人群 使用场景及目标：需要依靠python3环境，执行爬虫脚本 其他说明：需要使用开发者工具捕捉...
python爬虫-爬取火车票.zip
01-21
Python爬虫技术是数据获取的重要工具，特别是在网络信息丰富的今天，爬取火车票数据能帮助我们分析火车票的定价、余票、时段等信息。在这个项目中，我们将深入探讨如何利用Python实现火车票数据的爬取。 首先，我们...
精选_python爬虫--爬取网站中的多个网页_源码打包
03-12
Python爬虫技术是一种用于自动化获取网页内容的工具，尤其在数据挖掘、数据分析和自动化测试等领域广泛应用。本资源“精选_python爬虫--爬取网站中的多个网页_源码打包”提供了爬取网站多个网页的源码，帮助初学者或...
16-数据采集-爬取电商评论数据1
08-08
【标题】：“16-数据采集-爬取电商评论数据1” 【描述】：“2. 爬取电商数据：如意淘、惠惠购物助手、西贴、购物党http://www.xitie.com/3. 爬取社会化媒体 http://ys.8wss.com/4" 【标签】: 【部分内容】: 网络...
Python-selenium-爬取河南省统计年鉴信息
01-20
Python-selenium-爬取河南统计年鉴信息 写论文需要用到统计年鉴数据，发现网页上面的数据是一个个的表格，如果一个个的去下载非常麻烦，写个脚本解决一下。 爬虫地址 ...成果预览 实现代码 # -*- coding: utf-8 -*- ...
Python爬虫爬取部分学校的新闻标题、时间、对应的新闻链接
꧁༺ʚvv༒catɞ༻꧂的博客
09-28 5054
使用工具 PyCharm 2018.2.3 Anaconda Navigator 谷歌浏览器插件：chrome_Xpath_v2.0.2 准备步骤
基于python爬取重庆交通大学新闻网内容
醉意丶千层梦的博客
11-15 1263
文章目录一、原理分析网站二、实现实现代码三、结果爬取过程爬取结果四、总结五、参考 一、原理 分析网站 打开重庆交通大学新闻网站http://news.cqjtu.edu.cn/xxtz.htm Chrome浏览器右键点击查看网页源代码 找到新闻标题所在位置，也就是需要爬取的内容。 不难发现新闻时间和标题在div标签内，同时被一个li标签包含，则可以找到所有的li标签再从里面找合适的div标签。 二、实现 实现代码 import requests from bs4 import BeautifulSou
使用Python的Requests和BeautifulSoup库来爬取新闻网站的新闻标题、发布时间、内容等信息，并将数据存储到数据库中
2301_76395002的博客
04-11 2430
BeautifulSoup是Python的一个HTML/XML解析库，用于从HTML或XML文件中提取数据。结合Python的requests库，可以实现网页爬取和数据提取。
python爬取网页详细教程
xiangxueerfei的博客
09-29 8201
可以使用Python中的Pandas库，将数据存储到Excel或CSV文件中，或者使用Python自带的sqlite3库，将数据存储到SQLite数据库中。随着互联网的高速发展，网页上的信息也越来越丰富，而Python作为一门高效的编程语言，可以帮助我们快速地获取所需的信息。requests库是Python中最常用的HTTP库，可以帮助我们向目标网站发送GET或POST请求，并获取网页上的数据。BeautifulSoup库是Python中最常用的HTML解析库，可以帮助我们快速地获取网页中的各种信息。
Python3之xpath爬虫，获取网页里面的标题和相应的链接
jiet07的博客
07-10 9436
获取网页里面的标题和相应的链接 网页链接如下： https://mp.weixin.qq.com/s/VOU2m5hn9CdO7tsdBb6pTQ 获取所有标题以及对应的链接地址 3.输出结果 4.注意 查找特定的节点 //div[@class=‘rich_media’]/div/div/div/div/div/p/text() 路径说明 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 @ 选取属性。 text() 选取文本内容。 选取class属性值为rich_med
Python爬网页标题加链接地址
molly_spring的博客
08-02 541
适合初学者的简单爬虫
python网易云音乐数据采集与爬取
06-07
好的，我可以帮你解答关于Python爬取网易云音乐数据的问题。 首先，你需要使用Python的requests库向网易云音乐的服务器发送请求，获取相应的数据。你可以使用开发者工具查看网易云音乐的API接口，然后通过requests库发送GET请求获取相关数据。 其次，你需要使用Python的BeautifulSoup库对获取到的数据进行解析和提取。你可以使用BeautifulSoup库中的find()或者find_all()方法，通过标签名、类名、属性名等特征来获取需要的数据。 最后，你需要使用Python的pandas库将获取到的数据存储到本地文件或者数据库中。你可以使用pandas库中的DataFrame对象来处理数据，并使用to_csv()或者to_sql()方法将数据存储到本地文件或者数据库中。 需要注意的是，爬取网易云音乐数据时要遵守相关法律法规，不得用于商业用途和侵犯他人权益。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爪喵喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值