爬取学校官网信息公告并存入数据库

最新推荐文章于 2024-05-30 10:08:42 发布
最新推荐文章于 2024-05-30 10:08:42 发布
阅读量3k 收藏 5
点赞数 1
分类专栏： tp5.1技术分享 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42836388/article/details/105256318
版权

前段时间做了爬取学校信息并展示的小软件，爬取内容包括学校官网、教学管理系统、招生就业信息等，其中用到了QueryList库、翻页爬虫，定时爬虫，插入数据库等
不熟系QueryList的可以看一下我的这篇博客querylist数据爬虫入门

<?php

namespace app\crawler\controller;

use QL\QueryList;
use think\Controller;
use think\Db;
use think\Request;

class Getnews extends Controller
{
    public function addImg_header($content="",$url="http://www.cdutcm.edu.cn/Upload/")
    {
        $pregRule = "/<[img|IMG].*?src=[\'|\"](.*?(?:[\.jpg|\.jpeg|\.png|\.gif|\.bmp]))[\'|\"].*?[\/]?>/";
        $content = preg_replace($pregRule, '<img src="'.$url.'${1}"', $content);
        return $content;
    }
    //爬取学校官网信息
    public function qulist()
    {
        set_time_limit(0);  //防止程序响应30秒后  报错
        for($i = 1; $i < 2; $i++){
            //综合新闻
            $data_list = QueryList::get('https://www.cdutcm.edu.cn/xwsd_'.$i)
            // 设置采集规则
            ->rules([
                // 爬取图片地址
                "url" => array("#content-wrap ul>li>a", "href"),
                "title" => array("#content-wrap  ul>li>a", "text")
            ])
                ->query()->getData();
            foreach ($data_list as $key => $value) {
                $find = Db::name("wx_newlist")->where("article_title", "=", $data_list[$key]['title'])->find();
                if (empty($find)) {
                    echo "开始获取<<{$data_list[$key]['title']}>>的详情\n";
                    //爬取详情
                    $url = "https://www.cdutcm.edu.cn{$value['url']}";
                    $detail_data = $this->getData($url);
//                    halt($detail_data);
                    $detail_data = $this->addImg_header($detail_data);
                    halt(json_decode($detail_data));

                    //组合数据库
                    $db_data['article_title'] = $data_list[$key]['title'];
                    $db_data['article_date'] = $detail_data[0]['date'];
                    $db_data['article_content'] = $detail_data[0]['content'];
                    $db_data['type'] = '综合新闻';
                    print_r($db_data);
                    $info = Db::name("wx_newlist")->insert($db_data);
                    if (!empty($info)) {
                        echo "已插入数据";
                    }
                } else {
                    echo "数据库已有此数据";
                }
            }

        }

        for ($i = 1; $i < 2; $i++) {

            //学校要闻
            $data_list = QueryList::get('https://www.cdutcm.edu.cn/xxyw_'.$i)

                // 设置采集规则
                ->rules([
                    // 爬取图片地址
                    "url" => array("#content-wrap ul>li>a", "href"),
                    "title" => array("#content-wrap  ul>li>a", "text")
                ])
                ->query()->getData();
            foreach ($data_list as $key => $value) {
                $find = Db::name("wx_newlist")->where("article_title", "=", $data_list[$key]['title'])->find();
                if (empty($find)) {
                    echo "开始获取<<{$data_list[$key]['title']}>>的详情\n";
                    //爬取详情
                    $url = "https://www.cdutcm.edu.cn{$value['url']}";

                    $detail_data = $this->getData($url);
                    //组合数据库
                    $db_data['article_title'] = $data_list[$key]['title'];
                    $db_data['article_date'] = $detail_data[0]['date'];
                    $db_data['article_content'] = $detail_data[0]['content'];
                    $db_data['type'] = '学校要闻';
                    $info = Db::name("wx_newlist")->insert($db_data);
                    if (!empty($info)) {
                        echo "已插入数据";
                    }
                } else {
                    echo "数据库已有此数据";
                }
            }
        }
        for ($i = 1; $i < 2; $i++) {

            //学术活动
            $data_list = QueryList::get('https://www.cdutcm.edu.cn/xshd_' . $i)
                // 设置采集规则
                ->rules([
                    // 爬取图片地址
                    "url" => array("#content-wrap ul>li>a", "href"),
                    "title" => array("#content-wrap  ul>li>a", "text")
                ])
                ->query()->getData();
            foreach ($data_list as $key => $value) {
                $find = Db::name("wx_newlist")->where("article_title", "=", $data_list[$key]['title'])->find();
                if (empty($find)) {
                    echo "开始获取<<{$data_list[$key]['title']}>>的详情\n";
                    //爬取详情
                    $url = "https://www.cdutcm.edu.cn{$value['url']}";

                    $detail_data = $this->getData($url);
                    //组合数据库
                    $db_data['article_title'] = $data_list[$key]['title'];
                    $db_data['article_date'] = $detail_data[0]['date'];
                    $db_data['article_content'] = $detail_data[0]['content'];
                    $db_data['type'] = '学术活动';
                        //插入数据库
                    $info = Db::name("wx_newlist")->insert($db_data);
                    if (!empty($info)) {
                        echo "已插入数据";
                    }
                } else {
                    echo "数据库已有此数据";
                }
            }
        }

    }

    function getData($url)
    {
        $data = QueryList::get($url)// 设置采集规则
        ->rules([
            // 爬取图片地址
            // "title1" => array("#content-wrap .article h1.title", 'text'),
            "date" => array("#content-wrap .article div.article-hd.text-center div.meta>span:nth-child(2)", 'text'),
            //爬取内容
            "content" => array("#content-wrap .article div.article-bd", "html"),
        ])
            ->query()->getData();
        return $data;
    }

    //爬取招生就业信息
    public function getjob()
    {
        //没有规律的第一页
        $data_list = QueryList::get('http://zsjy.cdutcm.edu.cn/News/2002')
            // 设置采集规则
            ->rules([
                // 爬取图片地址
                "url" => array(".wrap div>.list div>p>a", "href"),
                "title" => array(".wrap div>.list div>p>a", "text"),
                "date" => array(".wrap div>.list div>p>span:nth-child(1)", "text"),
            ])
            ->query()->getData();
        foreach ($data_list as $key => $value) {
            $find = Db::name("wx_getjob")->where("article_title", "=", $data_list[$key]['title'])->find();
            if (empty($find)) {
                echo "开始获取<<{$data_list[$key]['title']}>>的详情\n";
                //爬取详情
                $url = "zsjy.cdutcm.edu.cn{$value['url']}";
                $detail_data = QueryList::get($url)// 设置采集规则
                ->rules([
                    //爬取内容
                    "content" => array("div.clear", "html"),
                ])
                    ->query()->getData();
                //组合数据库
                $db_data['article_title'] = $data_list[$key]['title'];
                $db_data['article_date'] = $data_list[$key]['date'];
                $db_data['article_content'] = $detail_data[0]['content'];
                //媒体焦聚
                $db_data['type'] = '就业快讯';
                print_r($db_data);
                    //插入数据库
                $info = Db::name("wx_getjob")->insert($db_data);
                if (!empty($info)) {
                    echo "已插入数据";
                } else {
                    echo "插入失败";
                }
            } else {
                echo "数据库已有此数据";
            }

        }
        for ($i = 1; $i < 2; $i++) {
            $data_list = QueryList::get('http://zsjy.cdutcm.edu.cn/News/Index/2002/pager/' . $i)
                // 设置采集规则
                ->rules([// 爬取图片地址
                    "url" => array(".wrap div>.list div>p>a", "href"),
                    "title" => array(".wrap div>.list div>p>a", "text"),
                    "date" => array(".wrap div>.list div>p>span:nth-child(1)", "text"),])
                ->query()->getData();
            foreach ($data_list as $key => $value) {
                $find = Db::name("wx_getjob")->where("article_title", "=", $data_list[$key]['title'])->find();
                if (empty($find)) {
                    echo "开始获取<<{$data_list[$key]['title']}>>的详情\n";
                    //爬取详情
                    $url = "zsjy.cdutcm.edu.cn{$value['url']}";
                    $detail_data = QueryList::get($url)// 设置采集规则
                    ->rules([
                        //爬取内容
                        "content" => array("div.clear", "html"),
                    ])
                        ->query()->getData();

                    //组合数据库
                    $db_data['article_title'] = $data_list[$key]['title'];
                    $db_data['article_date'] = $data_list[$key]['date'];
                    $db_data['article_content'] = $detail_data[0]['content'];

                    //媒体焦聚
                    $db_data['type'] = '就业快讯';
                    print_r($db_data);
                        //插入数据库
                    $info = Db::name("wx_getjob")->insert($db_data);
                    if (!empty($info)) {
                        echo "已插入数据";
                    } else {
                        echo "插入失败";
                    }
                } else {
                    echo "数据库已有此数据";
                }

            }
        }
    }

    //爬取教务公告
    public function adujwc()
    {
        //没有规律的第一页
        $data_list = QueryList::get('http://jwc.cdutcm.edu.cn/list-782803923682.aspx')
            // 设置采集规则
            ->rules([
                // 爬取图片地址
                #content > div.right.container > div.list > li:nth-child(1) > span.left_link > a
                "url" => array("#content div.list>li>span>a", "href"),
                "title" => array("#content div.list>li>span>a", "text"),
                "date" => array("#content div.list>li span.time", "text"),
            ])
            ->query()->getData();
//        var_dump($data_list);
        foreach ($data_list as $key => $value) {
            $find = Db::name("wx_newlist")->where("article_title", "=", $data_list[$key]['title'])->find();
            if (empty($find)) {
                echo "开始获取<<{$data_list[$key]['title']}>>的详情\n";
                //爬取详情
                $url = "http://jwc.cdutcm.edu.cn{$value['url']}";
                $detail_data = QueryList::get($url)// 设置采集规则
                ->rules([
                    //爬取内容
                    #content > div.right.container > div.new_detail
                    "content" => array("#content div.new_detail", "html","-.margin_b_10"),
                ])
                    ->query()->getData();
                //组合数据库
                $db_data['article_title'] = $data_list[$key]['title'];
                $db_data['article_date'] = $data_list[$key]['date'];
                $db_data['article_content'] = $detail_data[0]['content'];
                //媒体焦聚
                $db_data['type'] = '教务公告';
                print_r($db_data);
                //插入数据库
                **$info = Db::name("wx_newlist")->insert($db_data);**
                if (!empty($info)) {
                    echo "已插入数据{$data_list[$key]['title']}<br>";
                } else {
                    echo "插入失败{$data_list[$key]['title']}<br>";
                }
            } else {
                echo "数据库已有{$data_list[$key]['title']}<br>";
            }

        }

    }


}
扶我起来继续学习
关注
专栏目录
python爬取豆瓣top250信息并存入数据库中 | sqlite3
Github主页：https://github.com/xinyangwy
09-09 2099
python爬取豆瓣top250信息并存入数据库中,使用sqlite3数据库；涉及为什么HTML字段中会出现&NBSP；java.io.IOException: 不能删除数据库文件
爬取学校内网的个人信息
01-08
主要利用jsoup爬取学校内网的个人信息，课表等等，在移动设备上显示，查看
学校官网数据的爬取
weixin_42013825的博客
02-01 2149
import requests import re import bs4 from bs4 import BeautifulSoup as bs for i in range(1,11):#获取11页的新闻数据 if i==1: url = "http://news.gzcc.cn/html/xiaoyuanxinwen/index.html" else: ...
python第六次作业----爬取学校官网
如是我闻__一时__的博客
04-15 2145
题目描述 用到的知识点:正则表达式，爬虫相关的简单知识. python代码 import urllib.request import re #入口网址 url = 'http://www.zzu.edu.cn/' #进入链接地址进行读取 data = urllib.request.urlopen(url).read() data = data.decode('UTF-8') s...
Python网络爬虫-爬取学校官网新闻
最新发布
qq_65974842的博客
05-30 2518
⭐ 本文基于学校的课程内容进行总结，所爬取的数据均为学习使用，请勿用于其他用途一、准备工作确定目标网站：首先，明确要爬取的学校官网地址，并熟悉其新闻发布页面的结构和规律。安装必要的库：使用Python进行网络爬虫需要安装一些必要的库：是一个 Python 的 HTTP 客户端库，使用requests可以方便地发送所有类型的 HTTP 请求。是一个用于处理 XML 和 HTML 文档的 Python 库。是一个用于读写Excel文件（特别是.xlsx格式）的Python库。
python小小爬虫（一）—— 爬取学校官网通知（仅作为练习使用）
图像处理、SLAM、PCL、OpenCV爱好者
04-05 2464
无聊拿来玩儿，仅作为练习用。 文章目录分析代码效果 分析 找到文本的所处的div即可，注意应该是文本（一般是<span>text</span>这种形式）的上一级div,即div下面应该就是文本所在的span,找到文本所在的tag之后，使用.get_text()获取其文本信息。 代码 import requests from bs4 import BeautifulSoup # 获取html文档 def get_html(url): """get th.
利用Python爬取学校信息门户新闻并存入数据库
qq_44301813的博客
03-26 2786
任务：利用Python爬虫的相关知识爬取学校信息门户的相关知识 Python的相关库：requests库，bs4库，re库，pymysql库 需要解决的关键问题：1.利用requests进行模拟登录，并用session保持会话。2.利用bs4库对登录后的页面进行解析，获取网页新闻的链接。3.利用bs4库和re库如何对新闻页面进行解析，获取新闻的内容。4.利用bs4库爬取新闻内容，并利用pymysq...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
12-23
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下： 爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单...
Python 爬取在线课程并有存入MySQL数据库 Python源码
10-22
Python 爬取在线课程并有存入MySQL数据库 Python源码Python 爬取在线课程并有存入MySQL数据库 Python源码Python 爬取在线课程并有存入MySQL数据库 Python源码Python 爬取在线课程并有存入MySQL数据库 Python源码...
python_spiders：爬取全国学校网址
02-14
python_spiders 爬取全国学校网址 数据来源 （学校大全网） 用法： python3 test.py province.txt是中间生成的一级子域名文件，最终结果保存在result.txt中
全球所有大学的信息（人人网爬取）
02-02
全球所有大学的信息，包括大学所在的国家、城市、大学名等
爬虫实战1——校园官网内容爬取
大家好，欢迎来到鱼尾的博客！
01-06 3709
使用requests爬取网页简介一. 自动翻页的实现1.观察：2.代码实现：二.时间的限定1.遇到的困难：2.解决过程：三.阅读数的爬取1.遇到的困难：2.解决过程：四.完整代码 简介 项目内容：爬取福大要文（链接） 要求： 1.包含发布日期，作者，标题，阅读数以及正文。 2.可自动翻页。 3.范围：2020年内 一. 自动翻页的实现 1.观察： 点开链接，下拉到底实现手动翻页并观察顶部url的变化，可以发现有一定的规律。 第一页url： 第二页url： 第三页url： … 因此我们大致可以推断翻页的
Python 数据采集-爬取学校官网新闻标题与链接（基础）
Pola_的博客
11-14 8871
爬取学校官网新闻标题与链接一、前言二、扩展库简要介绍01 urllib 库（1）`urllib.request.urlopen()`02 BeautifulSoup 库（1）`BeautifulSoup()`（2）`find_all()`三、完整代码展示 一、前言 ⭐ 本文基于学校的课程内容进行总结，所爬取的数据均为学习使用，请勿用于其他用途 准备工作： 爬取地址：https://www.hist.edu.cn/index/sy/kyyw.htm 爬取数据：新闻的标题与链接 环境需求：安装扩展库 Bea
Python 数据采集-爬取学校官网新闻标题与链接（进阶）
热门推荐
Pola_的博客
11-15 1万+
Python 爬虫爬取学校官网新闻标题与链接一、拼接路径二、存储三、读取翻页数据四、 一、拼接路径 二、存储 三、读取翻页数据 四、
使用python爬取某专科学校官方信息
翱翔-蓝天
01-17 475
导入模块和代理设置：脚本开始时导入了必要的模块，如 csv, os, re, time, urllib.parse 中的 urljoin，bs4 中的 BeautifulSoup 和 selenium 中的 webdriver。初始化了一个 CSV 写入器 writer。get_page_url：访问给定的URL，提取其中的链接，并对每个链接调用 get_page_info 函数以提取信息。获取下一页URL函数：get_next_url 函数用于在分页的网站上找到“下一页”的链接，并返回该链接的URL。
爬虫实战（1）--爬取学校官网获取成绩
爱吃猪蹄的博客
08-05 4673
爬虫实战（1）--爬取正方系统 通过python的requests库爬取成绩
爬虫案例一：BeautifulSoup库+request库--爬取学校官网信息
lyeennnn的博客
10-30 240
【代码】爬虫案例一：爬取学校官网信息。
利用Python网络爬虫爬取学校官网十条标题
weixin_30251829的博客
03-27 570
利用Python网络爬虫爬取学校官网十条标题 案例代码： # __author : "J" # date : 2018-03-06 # 导入需要用到的库文件 import urllib.request import re import pymysql # 创建一个类用于获取学校官网的十条标题 class GetNewsTitle: ...
app采集的10个经典方法
m0_60197304的博客
07-21 8179
app采集的抓取数据、app抓包、网页爬虫、采集网站数据、app数据采集软件、python爬虫、HTM网页提取、APP数据抓包、APP数据采集、一站式网站采集技术、BI数据的数据分析、数据标注等成为大数据发展中的热门技术关键词。那么app采集数据的方法有哪些呢？我给大家分享一下，我爬虫的个人经验，我们在采集类似app采集网站数据的时候会遇到什么技术问题，然后再根据这些问题给大家分享采集方案. 写爬虫采集网站之前： 为什么经常听到有些网站的域名被劫持、服务器被黑客攻击、数据库被盗等 大家平时登录一个网站，
通过爬虫爬取多个招聘网站信息并存入数据库
03-28
1. 确定需要爬取的招聘网站，...8. 运行Spider，开始爬取招聘网站信息并存入数据库中。 9. 定期运行Spider，以更新数据库中的招聘信息。可以使用定时任务或调度工具，例如crontab或APScheduler，来定期运行Spider。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值