python中使用BeautifulSoup模块+CSS选择器获取中彩网福彩3D的开奖数据

最新推荐文章于 2024-07-09 10:19:38 发布
最新推荐文章于 2024-07-09 10:19:38 发布
阅读量4.7k 收藏 7
点赞数 2
分类专栏： 网络爬虫 文章标签： BeautifulSoup 网络爬虫 CSS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tszupup/article/details/81089708
版权

        在上篇博客中，我们使用了BeautifulSoup模块获取中彩网福彩3D的开奖数据，在编写爬虫程序的过程中发现，如果只使用BeautifulSoup模块中的find_all函数来匹配标签解析网页时，工作量较大而且容易出错，这和find_all函数本身的工作原理以及输入输出有关。通过查找，我们发现将BeautifulSoup模块和CSS选择器结合起来使用会提高网络爬虫的编写和运行效率，所以，同样以爬取中彩网中福彩3D的开奖数据为例，讲解BeautifulSoup模块如何与CSS选择器结合使用。首先，将介绍CSS选择器的工作原理和使用方法。

CSS选择器的工作原理和使用方法
        CSS选择器的工作原理是：我们在编写CSS时要遵守一些固定的规范，如标签名不加任何修饰符，类名前面加“.”，id名前面加“#”。我们同样可以利用类似的方法筛选元素，用到的方法是soup.select()，返回值的数据类型为列表。
        CSS选择器的使用方法如下：

from bs4 import BeautifulSoup

# html内容
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 创建BeautifulSoup对象用于解析网页
soup = BeautifulSoup(html, 'lxml')

1）通过标签名查找

print(soup.select('title'))
# [<title>The Dormouse's story</title>]
print(soup.select('a'))
"""
[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
"""
print(soup.select('b'))
# [<b>The Dormouse's story</b>]

2）通过类名查找重点内容

print(soup.select('.sister'))
"""
[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
 <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, 
 <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
"""

3）通过id名查找

print(soup.select('#link1'))
# [<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

4）组合查找
        组合查找即为将标签与标签、标签与类名、标签与id名等组合起来进行查找，例如查找p标签中id为link1的元素或查找head标签的子标签title。

print(soup.select('p #link1'))      # 二者之间用空格隔开
# [<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
print(soup.select('head > title'))      # 二者之间用>隔开，>表示从父标签到子标签
# [<title>The Dormouse's story</title>]

5）属性查找
        进行属性查找时，属性需要用中括号括起来，当属性和标签属于同一个节点时，中间不能加空格，否则无法匹配到；不在同一节点的标签与属性之间用空格隔开。

print(soup.select('a[class="sister"]'))     # 二者之间不用空格隔开
"""
[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
 <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, 
 <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
"""
print(soup.select('a[href="http://example.com/elsie"]'))        # 二者之间不用空格隔开
# [<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
print(soup.select('p a[href="http://example.com/elsie"]'))      # 二者之间用空格隔开
# [<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

        soup.select()方法的返回值为列表类型，可以通过遍历的形式输出，并以get_text()方法或.text属性获取内容，代码如下：

print(soup.select('a'))
"""
[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, 
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, 
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
"""
# 遍历列表元素
for i in soup.select('a'):
    # 打印标签元素内容的两种方法
    print(i.get_text())
    print(i.text)
"""


Lacie
Lacie
Tillie
Tillie
"""

        网页源代码截图如下：


这里写图片描述

        使用BeautifulSoup模块+CSS选择器对页面进行解析的函数如下： 

# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回二维列表
    return per_page_data

        测试代码和效果如下：

#-*-coding:utf-8-*-
"""
@author:taoshouzheng
@time:2018/7/17 9:07
@email:tsz1216@sina.com
"""

from bs4 import BeautifulSoup
from urllib import request
import numpy as np


# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回二维列表
    return per_page_data


# 主模块
if __name__ == "__main__":
    # 调用函数
    page_data = parse_per_page('http://kaijiang.zhcw.com/zhcw/html/3d/list.html')
    # 将列表转化为数组
    page_data_array = np.array(page_data)
    # 打印
    print(page_data_array)


这里写图片描述

        总的代码和效果如下： 

#-*-coding:utf-8-*-
"""
@author:taoshouzheng
@time:2018/7/17 9:07
@email:tsz1216@sina.com
"""
from bs4 import BeautifulSoup
from urllib import request
import numpy as np

"""
使用BeautifulSoup模块和CSS选择器获取中彩网福彩3D的开奖数据
"""


# 定义获取所有页面对应的url的函数
def get_all_urls():
    """
    :return: url列表
    """
    # 创建url列表
    url_list = []
    # 第一页的真实请求地址
    ori_url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list.html'
    # 加入列表
    url_list.append(ori_url)
    # 生成并遍历列表
    for i in list(range(2, 247)):
        url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_' + str(i) + '.html'
        # 加入列表
        url_list.append(url)
    # 打印消息
    print('成功获取url！')
    # 返回列表
    return url_list


# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回二维列表
    return per_page_data


# 主模块
if __name__ == "__main__":
    # 创建用于存放所有数据的列表
    all_data = []
    # 调用函数获取所有的url
    url_list = get_all_urls()
    # 遍历列表中的每一个url
    for url in url_list:
        # 调用函数解析每一个网页
        page_data = parse_per_page(url=url)
        # 将每页的数据加入总的二维列表中
        all_data.extend(page_data)
    # 将存放所有数据的二维列表转化为数组
    all_data_array = np.array(all_data)
    # 表头信息
    header = '开奖日期' + '\t' + '期号' + '\t' + '中奖号码' + '\t' + '单选' + '\t' + '组选3' + '\t' + '组选6' + '\t' + '销售额（元）' + '\t' + '返奖比例'
    # 将数组中元素写入txt文件中
    np.savetxt('中彩3D开奖数据.txt', all_data_array, fmt='%s', delimiter='\t', header=header, comments='', encoding='utf-8')
    # 打印消息
    print('文件写入成功！')

        效果截图：


这里写图片描述
这里写图片描述

        欢迎交流！ QQ：3408649893

烟雨风渡
关注
专栏目录
python 彩票预测算法_Python爬虫之爬取彩票并简单统计
weixin_28684449的博客
12-24 8106
一、背景在网上闲逛的日子总归是无聊的，百度的跟踪也是一如既往的好，它总是会给我推荐一些互联网圈里面的新闻，然后又在其中穿插一些新游戏广告，正因如此，我看到了一篇报道某个地方某个人中了五百万大奖的新闻，灵感迸发，进而写了一个关于彩票的爬虫。二、网页分析今天爬取的是中国彩票网(中彩网)中的福彩3D这款彩票，在我初中的时候很喜欢买这个彩票，因为只需要在0~9的十个数字中选三个，相对于其余的选七八个数字来...
【学习笔记】爬虫（Ⅲ）—— BeautifulSoup和CSS选择器
Eddie_hyh的博客
04-24 1025
爬虫第三部分：beautifulsoup和css选择器
用python抓取“3d”彩票数据，怎么分析你说了算！
weixin_34095889的博客
07-05 1165
2019独角兽企业重金招聘Python工程师标准>>> ...
72 – 使用Beautiful Soup 的CSS选择器获取节点信息
12-22
如何使用Beautiful Soup 的CSS选择器获取节点信息 from bs4 import BeautifulSoup html = ''' Beautiful Soup ruochen 若尘 确定 淘宝 微软 谷歌 ''' soup = BeautifulSoup(html, 'lxml') tags = soup.select('.item') print(tags) print(type(tags)) for tag in tags: print(tag) [ ruochen , 淘宝 ] ruochen 淘宝 tags= soup.sel
Beautiful Soup库中CSS选择器的应用
weixin_41489908的博客
07-09 244
本套课在线学习视频（网盘地址，保存到网盘即可免费观看）：​​Beautiful Soup是一个强大的Python库，用于从HTML和XML文件中提取数据。它支持使用CSS选择器来高效地查找和操作文档中的元素。本文将详细介绍如何在Beautiful Soup中使用CSS选择器进行元素查找，并通过实例演示其应用。
python中使用BeautifulSoup模块爬取中彩网福彩3D的开奖数据
tszupup的博客
07-17 3151
&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;在上一篇博客中，介绍了网络爬虫的基本流程，然后以“使用BeautifulSoup爬取盗版小说网站”的例子对上述流程加以实现。最近看到微信公众号“程序人生”中的一篇文章：点击打开网页，在这篇文章中作者爬取了中彩网福彩3D的开奖
分析了16年的福利彩票记录，原来可以用Python这么买彩票
Python专栏
07-09 8296
目录 0 引言 1 环境 2 需求分析 3 代码实现 4 后记 0 引言 上周被一则新闻震惊到了，《2454万元大奖无人认领！福彩史上第二大弃奖在广东中山产生 》，在2019年5月2日开奖的双色球中，广东中山一位彩民博中2454万元，兑奖时间截至2019年7月1日。 令人遗憾的是，中奖者最终未现身领奖，2454万元大奖成为弃奖。经中山市福彩中心查证，这是中国福彩史上金额第二大的弃奖。根据《彩票管...
BeautifulSoup之CSS选择器
Gao__xi的博客
03-19 406
选择器 这里我们也通过直接写html 测试 代码 from bs4 import BeautifulSoup htmltext='''<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>选择器</title> </...
python3 BeautifulSoup模块使用字典的方法抓取a标签内的数据示例
09-18
例如，你可以使用CSS选择器（通过`.select()`方法）来更精确地定位元素，或者使用`find()`方法来查找第一个匹配的元素。 此外，了解正则表达式（`re`模块）可以增强你的数据提取能力。例如，如果你需要从`href`属性...
python+PyDocX+BeautifulSoup+PyQt5实现word转html的可视化插件
07-11
在IT行业中，Python是一种广泛应用的编程语言，尤其在后端开发领域。本项目结合了多个Python库，包括PyDocX、BeautifulSoup以及PyQt5，实现了将Word文档转换为HTML的可视化插件。下面我们将详细探讨这些技术及其在...
深入解析：Python中的XPath与CSS选择器对比及应用场景
最新发布
08-21
在Python中，无论是使用lxml还是BeautifulSoup，都可以有效地利用这两种选择器进行Web抓取和数据提取。 参考文献 [1] BeautifulSoup Documentation. (n.d.). Retrieved from ...
基于Python正则表达式的彩票信息爬取.pdf
05-16
基于Python正则表达式的彩票信息
BeautifulSoup，CSS选择器
qq_53318060的博客
08-18 1087
文章目录BeautifulSoupBS对象的一些方法属性 BeautifulSoup 数据解析原理: 1.标签定位 2.提取标签、标签属性中存储的数据 from bs4 import BeautifulSoup import lxml 1.将本地的html文件中的数据加载 fp=open(filename,'r',encoding='utf-8') res=BeautifulSoup(fp,'lxml') #返回BeautifulSoup对象 2.将互联网上获取的页面源码加载 page_text=r
beautifulsoup之CSS选择器
程序猿踩坑集锦
02-26 2659
BeautifulSoup支持大部分的CSS选择器，其语法为：向tag或soup对象的.select()方法中传入字符串参数，选择的结果以列表形式返回。 　　tag.select("string") 　　BeautifulSoup.select("string")   源代码示例： html = """ The Dormouse's sto
BeautifulSoup CSS 选择器
lakeheart879的专栏
09-15 1209
CSS3 选择器 在 CSS 中，选择器是一种模式，用于选择需要添加样式的元素。 "CSS" 列指示该属性是在哪个 CSS 版本中定义的。（CSS1、CSS2 还是 CSS3。） 选择器 例子 例子描述 CSS .class .intro 选择 class="intro" 的所有元素。 1 #id
BeautifulSoup之Css样式选择器
qq_40910788的博客
12-05 827
BeautifulSoup之Css样式选择器 1、通过标签选择 # 选择所有title标签 soup.select(&quot;title&quot;) # 选择所有p标签中的第三个标签 soup.select(&quot;p:nth-of-type(3)&quot;) 相当于soup.select(p)[2] # 选择body标签下的所有a标签 soup.select(&quot;body a&quot;) # 选择body标签下的直接a子标
Python爬虫BeautifulSoup4系列之十
IT晓可程序员之路
07-21 732
Beautiful Soup 是一个HTML/XML的解析器知识总结
Python爬虫实例（3）--BeautifulSoup的CSS选择器
qq_34786604的博客
08-31 1858
bs4 css选择器 爬虫使用CSS选择器 爬虫抓取小说章节目录
40 爬虫 - BeautifulSoup4 CSS选择器
阿甘兄
08-30 351
这就是另一种与 find_all 方法有异曲同工之妙的查找方法. 写 CSS 时，标签名不加任何修饰，类名前加.，id名前加# 在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list （1）通过标签名查找 print soup.select('title') #[<title>The Dormouse's story&...
Python BeautifulSoup使用CSS选择器进行Web信息采集
"本资源为Python中使用BeautifulSoup（BS）进行Web信息采集，特别是关于CSS选择器在搜索文档树中的应用的讲解。由北京信息职业技术学院的郑淑晖伊新分享，参考书籍《Web Scraping with Python》作者Ryan Mitchell。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值