爬虫入门实践 | 利用python爬取彩票中奖信息

系统环境:mac python版本:3.6.2(anaconda) 库:requests、BeautifulSoup爬取一些简单的静态网站,一般采取的策略为:选中目标,也就是需要爬取的网站url;观察结构,查看网页结构,联接结构;构思动手,选择Html下载器和解析器,最后存储数据。今天我们爬取对象是中彩网中3D彩票中奖信息。对应的URL为:http://kaijiang.zhcw...
摘要由CSDN通过智能技术生成

系统环境:mac
python版本:3.6.2(anaconda)
库:requests、BeautifulSoup


爬取一些简单的静态网站,一般采取的策略为:选中目标,也就是需要爬取的网站url;观察结构,查看网页结构,联接结构;构思动手,选择Html下载器和解析器,最后存储数据。

今天我们爬取对象是中彩网中3D彩票中奖信息。对应的URL为:http://kaijiang.zhcw.com/zhcw/html/3d/list_1.html
我们可以发现,其后缀list_()代表的正是第几页,比如list_3就是第三页。
这里写图片描述
我们打开开发者工具查看网页结构,可以发现每一期的彩票信息对应的源代码是一个tr节点,我们可以使用BeautifulSoup库来提取数据信息。
这里写图片描述
整体流程:爬取所有3D彩票信息248页,一共请求248次网页,使用库提取信息,使用xlrd将数据写入excel。结果如下:

这里写图片描述
代码如下:

import requests
import xlwt
import time
from bs4 import BeautifulSoup

# 获取网页内容
  • 1
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
Python爬取网站是指利用Python编程语言进行网络数据的抓取和提取。以下是Python爬取网站的入门步骤: 1. 安装Python:首先需要在计算机上安装Python。可以从Python官方网站下载适合自己操作系统的Python安装包,并按照提示进行安装。 2. 安装爬虫库:Python爬虫开发离不开一些强大的爬虫库,如requests、BeautifulSoup、Scrapy等。可以使用pip命令来安装这些库,例如在命令行中执行“pip install requests”安装requests库。 3. 导入库:在编写Python爬虫程序时,需要导入相应的库以便使用库提供的功能。例如,使用“import requests”导入requests库。 4. 发起请求:使用爬虫库中的请求方法,比如requests库的get方法,可以向目标网站发起请求并获取网页内容。例如,“response = requests.get(url)”可以获取指定URL的网页内容。 5. 解析网页:得到网页内容后,可以使用解析库对网页进行解析,以提取感兴趣的信息。比如使用BeautifulSoup库解析网页内容。例如,“soup = BeautifulSoup(response.content, 'html.parser')”。 6. 提取信息:通过解析网页后,可以使用库提供的方法提取所需的信息。例如,使用BeautifulSoup库的find_all方法查找符合条件的所有标签,并提取标签中的文本内容。 7. 存储数据:提取到有用的信息后,可以将数据保存到各种格式中,如文本文件、Excel表格或数据库等。具体可以根据需求选择相应的方法进行存储。 总之,Python爬取网站的入门步骤主要包括安装Python、安装爬虫库、导入库、发起请求、解析网页、提取信息和存储数据。通过这些步骤的实践,可以逐渐掌握Python爬虫的基础知识和技巧,并开发出自己所需的爬虫程序。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值