初学python,爬虫小项目

本文介绍了作者作为Python初学者,运用urllib2和BeautifulSoup库在Python2.7环境中编写的一个简单爬虫,目标是抓取应届生求职网上关于西安地区的校招宣讲会信息。目前实现的功能尚未包含获取img标签中的时间信息,作者期待进一步学习如何处理动态网页和使用MongoDB存储爬取的数据。
摘要由CSDN通过智能技术生成

初学python看完基础教程后,利用从视频学来的知识,利用urllib2和BeautifulSoup库,在python2.7环境下编写一个小爬虫,爬取应届生求职网上西安的校招宣讲会信息。

代码如下:

# coding=utf-8
import urllib2
from  bs4 import BeautifulSoup
urlstart='http://my.yingjiesheng.com/index.php/personal/xjhinfo.htm/?page='#为了方便翻页将网址代码分成两部分
urlend='&cid=&city=21&word=&province=0&schoolid=&sdate=&hyid=0'
for i in range(1,20):#从网站上直接获取页面个数
    print '正在打印第'+str(i)
    url=urlstart+str(i)+urlend#整理网站地址
    request=urllib2.urlopen(url)#用urllib2打开网站
    html=request.read()#读取网站代码
    bs=BeautifulSoup(html,'html.parser',from_encoding='utf-8')#BeautifulSoup整理网站代码
    alllist1=bs.find_all('tr',class_='bg0')#每一页的信息分为两个部分
    alllist2=bs.find_all('tr',class_='bg1')
    alllist=alllist1+alllist
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫项目是利用Python编程语言进行网络爬取的一种应用,可以自动获取互联网上的数据,并进行处理和分析。对于初学者来说,Python爬虫项目是一个很好的练习机会,可以巩固Python基础知识,并学习如何利用Python爬虫库来获取目标网页的内容。 一个简单的Python爬虫项目可以包括以下步骤: 1. 导入所需的Python库,如requests和BeautifulSoup等。 2. 使用requests库发送HTTP请求,获取目标网页的内容。 3. 使用BeautifulSoup库对获取的网页内容进行解析和提取所需的数据。 4. 对提取的数据进行处理,如保存到本地文件、存储到数据库或进行进一步的分析。 5. 添加异常处理机制,应对可能出现的网络连接错误或网页解析错误等异常情况。 一个实际的例子是编写一个简单的天气预报爬虫程序。首先,我们可以使用requests库发送HTTP请求获取一个包含天气信息的网页内容。然后,使用BeautifulSoup库解析网页内容,并提取我们所需的天气数据。最后,我们可以将提取的天气数据以适当的格式展示出来,比如保存到CSV文件或打印到控制台。 通过完成这样的Python爬虫项目,我们可以提高对Python编程语言和爬虫技术的理解和掌握,并且为进一步的复杂爬虫项目打下基础。同时,我们还能通过实践提升自己的问题解决和调试能力,提高自己的编程水平和综合能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值