python使用requests和beautifusoup模块爬取学校网站的就业中心信息，并发送至自己的邮箱...

最新推荐文章于 2022-11-03 21:35:08 发布
最新推荐文章于 2022-11-03 21:35:08 发布
阅读量1.4k 收藏 3
点赞数
文章标签： 爬虫 javascript python ViewUI
原文链接：https://my.oschina.net/u/3629884/blog/1557903
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

212129_KgbU_3629884.png

最近有一件非常难过以及无限悲伤的事情发生了，那就是Firebug停止更新和维护了！！

Firebug作为一款前端调试工具，同时也是我接触的第一款前端工具（虽然我仅使用它来分析网页结构，以便于自己爬虫项目的编写），尤其是它的简介的界面，以及firexpath插件提供的xpath和css路径查询，以便于自己在网页上定位到目的信息，我的许多爬虫练习都是这款插件陪伴我的，but it leaves me forever todays。

212615_9OQB_3629884.png

Firebug最初是2006年1月由Joe Hewitt编写，Joe也是Firefox创始者之一。在没有Firebug等调试工具之前，JavaScript调试非常困难，找错误有时候就跟做噩梦一般。而作为网页浏览器 Mozilla Firefox下的一款开发类插件，Firebug集中了HTML查看和编辑、JavaScript控制台、网络状况监视器等多种功能，是开发JavaScript、CSS、HTML和AJAX的有效工具。

Firebug曾是很多前端开发者的必备工具，也有开发者是因Firebug而选择使用Firefox。Firebug也被很多人借鉴，早在2011年，就有人在InfoQ上评论“开发工具部分现在长的都差不多了,看上去都像是Firebug”，而其中一个案例就是被Chrome借鉴成 DOM inspector。

而实际上，Firebug停更早已有预兆。2015年底，为了进一步提供更加强大的功能，Mazilla的工程师就在努力进行原生Firefox开发者工具（DevTools）和Firebug的整合工作。该整合项目努力把所有的Firebug特性移植到DevTools中，使得其兼容多进程，并支持远程调试。而且，项目努力保证从Firebug到DevTools的转变过程尽可能平缓和简单，不影响用户体验。从结果上来看，Firebug 3也已不再是一个单独的工具，而是DevTools之上的一个外壳。它为DevTools提供了与之前版本Firebug相同的主题。用户可通过点击Firebug Theme选项打开主题。Firebug停更，相当于去掉了DevTools的一层外壳。

如今，浏览器调试工具已有很多可选项，虽然Firebug离开了历史舞台，但它曾经的荧光陪伴了很多开发者。

如今，我使用的是Firefox Developer Edition，换成中文来说就是“火狐开发者版”，怎么说呢，个人觉得这个明显没有Firebug好用（可能是因为刚用！！），在官网下载的是英文版，如果想要更换为中文版，首先需要去http://ftp.mozilla.org/pub/firefox/releases/57.0b11/win64/xpi/zh-CN.xpi下载中文库，然后在火狐浏览器地址框输入about:config，搜索useragent.locale，将其值设置为zh-CN，重启浏览器即可，记得下载中文库的时候要注意链接上的57.0b11是浏览器的版本号，win64是系统是什么，需要根据你自己的火狐浏览器和电脑系统版本进行修改。

211805_w3P8_3629884.png

  • 目的地址：http://career.fjnu.edu.cn/?category-51.cfm
  • requests库
  • re库
  • BeautifulSoup库
  • lxml库
  • smtplib库
  • email.mime.text.MIMEText
  • python版本3.6
  • win7  64位系统
  • 编辑器Pycharm

访问目的地址我们可以看到如上图所示的网页信息，我们的需求就是爬取各个宣讲会的名字，时间，地点，主办方，将这些信息通过QQ的SMTP服务器将邮件发送至我的邮箱中。

首先分析目的地址的网页结构：

095034_gMMt_3629884.png

再继续看下一个的：

<ul class="global_tx_list4">
<li><span class="box_r">10-25</span><a href="/?viewnews-9909.cfm">【宣讲会】国金黄金股份有限公司</a></li>
<li><span class="box_r">10-25</span><a href="/?viewnews-9907.cfm">【宣讲会】雅迪科技集团有限公司</a></li>
<li><span class="box_r">10-25</span><a href="/?viewnews-9906.cfm">【宣讲会】长威信息科技发展股份有限公司</a></li>
<li><span class="box_r">10-25</span><a href="/?viewnews-9904.cfm">【宣讲会】中广核俊尔新材料有限公司</a></li>
<li><span class="box_r">10-24</span><a href="/?viewnews-9898.cfm">【宣讲会】世纪金源集团</a></li>
<li><span class="box_r">10-23</span><a href="/?viewnews-9877.cfm">【宣讲会】福建恒安集团有限公司</a></li>
<li><span class="box_r">10-22</span><a href="/?viewnews-9871.cfm">【宣讲会】东南卫视广告部</a></li>
<li><span class="box_r">10-22</span><a href="/?viewnews-9870.cfm">【宣讲会】厦门海实科技有限公司</a></li>
<li><span class="box_r">10-21</span><a href="/?viewnews-9865.cfm">【宣讲会】绿康生化股份有限公司</a></li>
<li><span class="box_r">10-21</span><a href="/?viewnews-9864.cfm">【宣讲会】厦门蓓护护理用品有限公司</a></li>
<li><span class="box_r">10-19</span><a href="/?viewnews-9850.cfm">【宣讲会】福建新意科技有限公司</a></li>
</ul>

可以发现各个公司的各自的宣讲会信息的网页就在其中的a标签下的href下。只需要提取其href即可。

#可以使用.get('href')获取标签内的href属性的值

通过上面获取的href很明显，只是正确网址的后面一段，我们需要对其进行拼接，随意打开一个宣讲会，我们就会发现其前部分网址是：http://career.fjnu.edu.cn。将前部分和后部分进行拼接，即可得到我们所需要的宣讲会的网址。然后再写一个函数，专门来处理宣讲会网址。

观察宣讲会的网页：

整个宣讲会的正文都在一个id为article_body的div标签下，而我们只需要前三行，所以通过split(‘\n’)进行分割，再拼凑前三行，使用strip()函数来去掉前后的空白符号。

需求分析：

  • 我们需要前三行信息（因为每家公司的正文略有不同，如果做精细分的话，劳动量有点大，简单的宣讲会举行时间，举办地址，举办方，已经可以使得我记住有什么公司在什么时间开宣讲会）
  • 发送邮件给目的邮箱（存成CSV？？存成JSON？？存成文件很明显是不行的，我要是能从电脑上打开文件，那我还不如直接登网页查看宣讲会信息。存在数据库？？好像也没有任何作用。发个邮件？？好像可以，直接可以通过QQ的STMP服务器发送邮件，免费还方便。）

那我们首先需要了解STMP：

1、  SMTP 服务器介绍

SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。SMTP协议属于TCP/IP协议簇，它帮助每台计算机在发送或中转信件时找到下一个目的地。通过SMTP协议所指定的服务器,就可以把E-mail寄到收信人的服务器上了，整个过程只要几分钟。SMTP服务器则是遵循SMTP协议的发送邮件服务器，用来发送或中转发出的电子邮件。

2、SMTP 邮件服务器开启

设置--账户--（POP3/SMTP服务）开启--（IMAP/SMTP服务）开启--（会分别得到两个授权码，授权码就是你在第三方登入时所使用的密码）

202812_rcXC_3629884.png

202917_LkUj_3629884.png

202956_UsHI_3629884.png

POP3/SMTP授权码：

203252_IgLD_3629884.png

IMAP/SMTP授权码：

203329_GeYu_3629884.png

这两个授权码都是可以使用的。

3、发送邮件实例：

# -*- coding:utf-8 -*-
import smtplib#用来发送邮件
from email.mime.text import MIMEText#用来打包内容

#就是用来包装邮件的
msg = MIMEText("大家好，我是VAE，这是我发表的首张独创专辑自定义里面的","plain","utf-8")#第一个参数是发送的内容，第二个参数选择发生的是纯文本（plain），第三个是编码格式utf-8
msg['Subject'] = "邮件标题"
msg['From'] = "3323614864@qq.com"#发送源邮箱
msg['To'] = "913799761@qq.com"#目的源邮箱

server = smtplib.SMTP_SSL("smtp.qq.com",465)#实例化腾讯的邮件(smtp)服务器
server.set_debuglevel(1)#设置调试模式
server.login("3323614864@qq.com","********")#登录上面实例化的邮件服务器，第一个发送源邮箱帐号，第二个参数发送源授权码
server.sendmail("3323614864@qq.com",["913799761@qq.com"],msg.as_string()#发送邮件
server.quit()#退出服务器

最后，全部代码实现爬取+发送邮件：

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import lxml
import re
import smtplib
from email.mime.text import MIMEText

def Spiderman(url):
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0'
    headers = {'User-Agent': user_agent}
    #url = r'http://career.fjnu.edu.cn/?viewnews-9909.cfm'
    response = requests.get(url,headers=headers)
    if response.status_code != 200:
        response.encoding = 'utf-8'
        print('很抱歉，访问失败，访问状态码为：'+response.status_code+'请查询原因')
    soup = BeautifulSoup(response.text,'lxml')
    #time = soup.find('span').get_text().strip()
    time02 = soup.find('div',id='article_body')
    #print(time02.get_text().strip())
    #place = soup.find(text=re.compile('地点')).strip()
    #person = soup.find(text=re.compile('主办')).strip()
    #dic = {}
    #dic['time'] = time
    #dic['place'] = place
    #dic['person'] = person
    s2 = time02.get_text().strip().split('\n')
    return (s2[0:3])

def Spider(url):
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0'
    headers = {'User-Agent':user_agent}
    r = requests.get(url,headers=headers)
    if r.status_code != 200:
        r.encoding = 'utf-8'
        print('很抱歉，访问失败，访问状态码为：'+r.status_code+'请查询原因')
    soup = BeautifulSoup(r.text,'lxml')
    companys = []
    company_names = soup.find_all(href=re.compile("/?viewnews-\d+\.cfm"),title=False)
    print(company_names[0].get_text())
    for company_name in company_names:
        company_name_href = r'http://career.fjnu.edu.cn'+company_name.get('href').strip()
        companys.append(company_name_href)
    print(companys)
    messages = ''
    for company,i in zip(companys,range(0,len(companys))):
        list = []
        list = Spiderman(company)
        messages =messages+company_names[i].get_text().strip()+'\n'+list[0]+'\n'+list[1]+'\n'+list[2]+'\n'+'\n'+'\n'
    try:
        msg = MIMEText(messages,'plain','utf-8')
        msg['Subject'] = "今日爬取"
        msg['From'] = "3323614864@qq.com"
        msg['To'] = "913799761@qq.com"
        server = smtplib.SMTP_SSL("smtp.qq.com", 465)
        server.login("3323614864@qq.com", "*********")
        server.sendmail("3323614864@qq.com", ["913799761@qq.com"], msg.as_string())
        server.quit()
        print('邮件发送成功')
    except:
        print('邮件发送失败')
if __name__ == '__main__':
    url = r"http://career.fjnu.edu.cn/?category-51.cfm"
    print('正在为您爬取，请稍后')
    try:
        Spider(url)
        print("恭喜您爬取成功")
    except:
        print("很抱歉，因为某些原因，爬取失败")
1、第一步引入所需要的库，设置编码格式
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import lxml
import re
import smtplib
from email.mime.text import MIMEText

2、第二步创建两个函数，if __name__ =='__main__':使得文件作为脚本直接执行

def Spiderman(url):
    #爬取单个宣讲会的详细信息
    pass

def Spider(url):
    #爬取宣讲会的网址信息
    pass


if __name__ == "__main__":
   url = r"http://career.fjnu.edu.cn/?category-51.cfm"
   Spider(url)
   pass

3、完善爬取宣讲会网址的函数

def Spiderman(url):
    #爬取单个宣讲会的详细信息
    pass

def Spider(url):
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0'
    headers = {'User-Agent':user_agent}
    r = requests.get(url,headers=headers)
    if r.status_code != 200:
        r.encoding = 'utf-8'
        print('很抱歉，访问失败，访问状态码为：'+r.status_code+'请查询原因')
    soup = BeautifulSoup(r.text,'lxml')
    companys = []
    company_names = soup.find_all(href=re.compile("/?viewnews-\d+\.cfm"),title=False)
    print(company_names[0].get_text())
    for company_name in company_names:
        company_name_href = r'http://career.fjnu.edu.cn'+company_name.get('href').strip()
        companys.append(company_name_href)
    print(companys)
    messages = ''
    for company,i in zip(companys,range(0,len(companys))):
        list = []
        list = Spiderman(company)
        messages =messages+company_names[i].get_text().strip()+'\n'+list[0]+'\n'+list[1]+'\n'+list[2]+'\n'+'\n'+'\n'
    try:
        msg = MIMEText(messages,'plain','utf-8')
        msg['Subject'] = "今日爬取"
        msg['From'] = "3323614864@qq.com"
        msg['To'] = "913799761@qq.com"
        server = smtplib.SMTP_SSL("smtp.qq.com", 465)
        server.login("3323614864@qq.com", "*********")
        server.sendmail("3323614864@qq.com", ["913799761@qq.com"], msg.as_string())
        server.quit()
        print('邮件发送成功')
    except:
        print('邮件发送失败')


if __name__ == '__main__':
    url = r"http://career.fjnu.edu.cn/?category-51.cfm"
    print('正在为您爬取，请稍后')
    try:
        Spider(url)
        print("恭喜您爬取成功")
    except:
        print("很抱歉，因为某些原因，爬取失败")

4、完善爬取单个宣讲会的信息的函数

def Spiderman(url):
    user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0'
    headers = {'User-Agent': user_agent}
    #url = r'http://career.fjnu.edu.cn/?viewnews-9909.cfm'
    response = requests.get(url,headers=headers)
    if response.status_code != 200:
        response.encoding = 'utf-8'
        print('很抱歉，访问失败，访问状态码为：'+response.status_code+'请查询原因')
    soup = BeautifulSoup(response.text,'lxml')
    #time = soup.find('span').get_text().strip()
    time02 = soup.find('div',id='article_body')
    #print(time02.get_text().strip())
    #place = soup.find(text=re.compile('地点')).strip()
    #person = soup.find(text=re.compile('主办')).strip()
    #dic = {}
    #dic['time'] = time
    #dic['place'] = place
    #dic['person'] = person
    s2 = time02.get_text().strip().split('\n')
    return (s2[0:3])

运行程序：

205437_BJmg_3629884.png

提示：开启stmp服务器，需要已经开通QQ邮箱14天，另外QQ邮箱的STMP服务器每天发送的邮件是有数量限制的，可以百度一下。

 

----------------------------

11.4再次实验，出了点问题，有空再处理下

 

转载于:https://my.oschina.net/u/3629884/blog/1557903

weixin_33790053
关注
[Python从零到壹] 七.网络爬虫之Requests爬取作者个人博客网站及CSV存储
杨秀璋的专栏
02-25 1万+
前一篇文章讲述了 BeautifulSoup 爬取豆瓣TOP250电影，通过案例的方式让大家熟悉Python网络爬虫。这篇文章将详细讲解Requests库爬取个人博客信息，并存储至CSV文件。该案例非常适合入门的案例，也能普及简单的预处理知识。 希望对您有所帮助，本文参考了作者CSDN的文章和学生杨友的博客，从学生的角度实现网络爬虫，可能对读者更友好。
Python爬虫实战，requests+parsel模块，爬取二手房房源信息数据
Modeler_xiaoyu的博客
12-05 2838
本文给大家分享的是如何通过 Python爬取二手房房源数据。
bs4 爬取招聘信息
weixin_44185953的博客
01-05 321
今天进行爬取招聘信息网 import requests from bs4 import BeautifulSoup proxy = { "HTTP": "113.3.152.88:8118", "HTTPS": "219.234.5.128:3128", } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; .
定时自动化爬取python相关岗位数量并送发到邮箱
qq_33496991的博客
12-16 315
思路： 设定一个时间 循环判断：现在的时间与设定时间相等 真：selenium自动爬取信息，email构建邮件骨架，smtplib发送邮件，更新设定的时间 无论是真是假，都睡眠一段时间。 坑： 刚开始做的时候报网易邮箱550错误没有用户权限，要去设置客户端授权密码，把邮箱密码换成授权密码 然后又报554错误被当成垃圾信息，网上说的这种是没加email骨架中的Subject，From，To，这...
python requests+BeautifulSoup桂电毕业生就业网搜索结果提取
m0_61594817的博客
11-03 507
【代码】python requests+BeautifulSoup桂电毕业生就业网搜索结果提取。
使用urllib爬取某学校的网站
missa_emperor的博客
03-16 464
import urllib.request r=urllib.request.urlopen('http://www.hbu.edu.cn/') #相当于request库中的request.get() html=r.read().decode('UTF-8') print(html)
python爬虫学习第二天，利用BeautifulSoup库和Requests库爬取网站
Forrest_Gump_sad的博客
04-17 553
一开始我是打算拿div里的标签做文章，使用它们的class来寻找内容，但是这样寻找出来的内容存在重复的可能，所以我就直接寻找到了它们的整个table（因为整个html里只有一个table），让在整个table里寻找我们需要的td标签，利用循环找到我们需要的内容（我这里一开始使用的是t.string，但是当td里没有内容是返回的是None，所以我就改用了t.text这样返回的就是一个空字符串）。 这...
python使用requests模块实现爬取电影天堂最新电影信息
01-20
本文重点给大家介绍python使用requests模块实现爬取电影天堂最新电影信息，具体内容如下所示： 在抓取网络数据的时候，有时会用正则对结构化的数据进行提取，比如 href=”https://www.1234.com”等。python的re模块...
Python Requests_html爬取51jobs网python岗位信息.py
04-19
Python，通过Reauests_html库，爬取51jobs网站python岗位招聘信息，实例代码。
《Python实用爬虫案例》练习1：使用requests和re库爬取网站图片并保存至本地文件夹
weixin_43095088的博客
12-09 2971
爬取目标：抓取选定网站的图片并下载保存至文件夹；相关库名：requests/re/os
Scrapy框架抓取四川大学公共管理学院教师信息
qq_38425619的博客
05-13 1052
目录 项目要求 准备步骤 代码编写 结果分析 问题解析 相关链接 一,项目要求 明确目标网址和items：我们要抓取的是四川大学公共管理学院教师主页128位教师信息，包括的item有name(x姓名）,title(职称），dep(所属部系），email(邮件），img(图片）以及详情页面的decs(个人简介） 明确分页处理的方法 明确怎么获取详情页信息 会使用xpath来编写数据路径 二 , 准备步
利用requests库爬取大学导师信息网站并写入excel文件
Modas Li的博客
05-17 1150
利用requests库爬取大学导师信息网站并写入excel文件 1.requests库获取导师网站的页面html信息 利用导师的url编码的规律，通过requests库的session会话成功获取每一个页面的html。 from pyquery import PyQuery as pq import requests import re import pandas as pd import ti...
Python使用BeautifulSoup与Requests爬取大学排名
liuzuoping的博客
10-27 731
我们经常看到各种大学排行榜 那能不能通过爬虫随时知道学校的排名呢 当然可以 看看下面抓取的效果图 那么具体怎么实现呢 实现工具 pycharm+BeautifulSoup+requests 具体代码 import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r =...
【Python】第七周 Python网络爬虫基础(上)
04-23
本周课程主要讲解Python网络爬虫的基础内容。具体有：Python中的正则表达式，网络爬虫基础介绍，爬虫的工作原理，urllib、urllib3和requests库的使用，GET和POST请求抓取数据实战，网络爬虫中常见错误的处理。
用Python爬取大学的信息
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-11 3918
你知道我们中国有多少个高校吗，你知道它的排名吗，你知道它在哪个地址吗，如果你不知道，那么下面Python爬虫教你知道！ 获取网页 #这个只用到了requests 和 bs4 #爬取大学排名 import requests from bs4 import BeautifulSoup as bs import time def grthtml(url): demo=requests.get(url) demo.encoding=demo.apparent_encoding#编码解码，常用方法
Python网页爬虫练习：requests库&Beautiful爬取bilibili网页信息
hrwy2920566283的博客
12-27 984
我是卢本伟！ import requests from bs4 import BeautifulSoup import bs4 def get_blibli_vedio():#获取bilibili实时热榜视频排行榜 url = "https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d6172795061676554...
利用requests库爬取网页获取数据
weixin_43848422的博客
10-23 6964
一、get请求 测试小例子： # 获取一个get请求，用get的方式直接访问网址 url = 'https://movie.douban.com/top250' response = requests.get(url) response.encoding = 'utf-8' # 出现乱码使用,对获取到的网页源码进行一个utf-8解码 print (response.text) # 获取网页的HTML字符串,该方式往往会出现乱码 print (response.statu
python爬虫运行正常最后报错_python爬虫优化和错误日志分析
weixin_39917576的博客
12-06 332
发现问题在爬虫下载过程中，执行一段时间后都会异常终止，下次必须kill掉进程重新运行 ，看能否优化并减少手动操作错误日志分析收集了nohup.out文件，发现主要错误是的数组下标越界，推测可能的问题为：1)网络不稳定，http请求不通。2)网络请求成功，但是html表单解析失败。3)登录的cookie过期优化思路在所有有网络请求的地方，都加上了返回码是不是200的判断，然后html表单解析的地方加...
使用python爬取学校门户网站相关信息并格式化输出
mpsk的博客
07-09 3886
我们学校的信息门户是必需要登录才能去看的。而且网页模块的排版比较不友好，很多重要信息例如讲座的通知，后勤的断水断电的通知没有办法很方便的及时获知。受到我舍友（手动@杨大潍）的启发，我就开始在期末花了一点时间做了这么一个脚本。
使用requests库和BeautifulSoup爬取该网站https://top.baidu.com/board?tab=realtime
最新发布
06-09
好的，我知道了。首先，我们需要安装requests和beautifulsoup4库，可以使用以下命令进行安装： ``` pip install requests beautifulsoup4 ``` 然后，可以使用以下代码进行爬取： ```python import requests from bs4 import BeautifulSoup url = 'https://top.baidu.com/board?tab=realtime' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') hot_list = soup.find_all('a', class_='title-link') for hot in hot_list: print(hot.get_text().strip()) ``` 这段代码会爬取百度实时热点榜单的标题，并打印出来。你可以根据自己的需要进行修改。记得加上异常处理和反爬虫策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值