python爬虫 双色球数据更新

最新推荐文章于 2024-08-26 16:18:27 发布
最新推荐文章于 2024-08-26 16:18:27 发布
阅读量490 收藏 2
点赞数
分类专栏： 学习笔记 文章标签： python mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43324187/article/details/115268958
版权
本文介绍如何使用Python爬虫从指定网站抓取双色球开奖结果，包括日期、红球和蓝球，然后将其存储到MySQL数据库中，并确保只更新新的数据。代码实现涉及数据解析、XPath选择、数据库操作及数据有效性检查。
摘要由CSDN通过智能技术生成

python爬虫 双色球数据更新

  1. 解析网站并获取数据

    # 彩票数据所在的url
url = 'http://datachart.500.com/ssq/'
# 提取数据
response = requests.get(url, headers={"User-Agent": UserAgent().chrome})
# 通过xpath去解析
e = etree.HTML(response.text)
date_times = e.xpath('//tbody[@id="tdata"]/tr/td[1]/text()')
trs = e.xpath('//tbody[@id="tdata"]/tr[not(@class)]')

  2. 链接数据库

    # 链接数据库
client = pymysql.connect(host='localhost', port=3306, user='root', password='123456', charset='utf8', db='bangumi')
cursor = client.cursor()

  3. 普通获取数据

    # 插入数据的sql
sql = 'insert into doubleballs values(0,%s,%s,%s)'
for data_time, tr in zip(date_times, trs):
    red_ball = '-'.join(tr.xpath('./td[@class="chartBall01"]/text()'))
    blue_ball = tr.xpath('./td[@class="chartBall02"]/text()')[0]
    print("第" + data_time + "红球是：" + red_ball + " 蓝球：" + blue_ball)
    cursor.execute(sql, [data_time, red_ball, blue_ball])
    client.commit()

  4. 更新数据这部分从数据库中获取数据，然后反转顺序，index作为计数器，循环遍历假如有新数据要更新，那result返回值为0，index+1。

    # 查看数据是否存在
select_new_sql = "select * from doubleballs where date_time = %s"
date_times.reverse()
# 记录有多少条新数据
index = 0
for data_time in date_times:
    result = cursor.execute(select_new_sql, [data_time])
    # 判断数据是否存在
    if result == 1:
        break
    index+=1

  5. 数据顺序反转，按照网站上xpath写法获取第1个数据，即最新的数据放到数据库中。

    # 数据从新到旧排序
trs.reverse()
for i in range(index):
    # 提取红球
    red_ball = '-'.join(trs[i].xpath('./td[@class="chartBall01"]/text()'))
    # 提取蓝球
    blue_ball = trs[i].xpath('./td[@class="chartBall02"]/text()')[0]
    print("第" + date_times[i] + "红球是：" + red_ball + " 蓝球：" + blue_ball)
    cursor.execute(sql, [date_times[i], red_ball, blue_ball])
    client.commit()

  6. 完整代码

    import requests
from fake_useragent import UserAgent
from lxml import html
import pymysql

etree = html.etree
# 彩票数据所在的url
url = 'http://datachart.500.com/ssq/'
# 提取数据
response = requests.get(url, headers={"User-Agent": UserAgent().chrome})
# 通过xpath去解析
e = etree.HTML(response.text)
date_times = e.xpath('//tbody[@id="tdata"]/tr/td[1]/text()')
trs = e.xpath('//tbody[@id="tdata"]/tr[not(@class)]')
# 链接数据库
client = pymysql.connect(host='localhost', port=3306, user='root', password='123456', charset='utf8', db='bangumi')
cursor = client.cursor()
# 插入数据的sql
sql = 'insert into doubleballs values(0,%s,%s,%s)'
# 查看数据是否存在
select_new_sql = "select * from doubleballs where date_time = %s"
date_times.reverse()
# 记录有多少条新数据
index = 0
for data_time in date_times:
    reslut = cursor.execute(select_new_sql, [data_time])
    # 判断数据是否存在
    if reslut == 1:
        break
    index += 1
# 数据从新到旧排序
trs.reverse()
for i in range(index):
    # 提取红球
    red_ball = '-'.join(trs[i].xpath('./td[@class="chartBall01"]/text()'))
    # 提取蓝球
    blue_ball = trs[i].xpath('./td[@class="chartBall02"]/text()')[0]
    print("第" + date_times[i] + "红球是：" + red_ball + " 蓝球：" + blue_ball)
    cursor.execute(sql, [date_times[i], red_ball, blue_ball])
    client.commit()
# for data_time, tr in zip(date_times, trs):
#     red_ball = '-'.join(tr.xpath('./td[@class="chartBall01"]/text()'))
#     blue_ball = tr.xpath('./td[@class="chartBall02"]/text()')[0]
#     print("第" + data_time + "红球是：" + red_ball + " 蓝球：" + blue_ball)
#     cursor.execute(sql, [data_time, red_ball, blue_ball])
#     client.commit()
cursor.close()
client.close()

  7. 这样排序会让更新之后最新的在数据最后，但是一开始排序的时候不会出现问题，是从新到旧的排序。于是因为有点强迫症，最后还是改成从旧到新排序。只需要改动几行代码即可，反转数据在提取红球蓝球数据前，保证数据最新，判断时每次存在就让index+1，之后加入index = count - index其中count = data_time.__len__()。接着将循环中的i变成index-i-1。最终代码如下，

    import requests
from fake_useragent import UserAgent
from lxml import html
import pymysql

etree = html.etree
# 彩票数据所在的url
url = 'http://datachart.500.com/ssq/'
# 提取数据
response = requests.get(url, headers={"User-Agent": UserAgent().chrome})
# 通过xpath去解析
e = etree.HTML(response.text)
date_times = e.xpath('//tbody[@id="tdata"]/tr/td[1]/text()')
trs = e.xpath('//tbody[@id="tdata"]/tr[not(@class)]')
count =date_times.__len__()
# 链接数据库
client = pymysql.connect(host='localhost', port=3306, user='root', password='123456', charset='utf8', db='bangumi')
cursor = client.cursor()
# 插入数据的sql
sql = 'insert into doubleballs values(0,%s,%s,%s)'
# 查看数据是否存在
select_new_sql = "select * from doubleballs where date_time = %s"
# date_times.reverse()
# 记录有多少条新数据
index = 0
for data_time in date_times:
    reslut = cursor.execute(select_new_sql, [data_time])
    # 判断数据是否存在
    if reslut == 1:
        index += 1
index = count - index
# 数据从新到旧排序
# trs.reverse()
date_times.reverse()
trs.reverse()
for i in range(index):
    # 提取红球
    red_ball = '-'.join(trs[index-i-1].xpath('./td[@class="chartBall01"]/text()'))
    # 提取蓝球
    blue_ball = trs[index-i-1].xpath('./td[@class="chartBall02"]/text()')[0]
    print("第" + date_times[index-i-1] + "红球是：" + red_ball + " 蓝球：" + blue_ball)
    cursor.execute(sql, [date_times[index-i-1], red_ball, blue_ball])
    client.commit()
# for data_time, tr in zip(date_times, trs):
#     red_ball = '-'.join(tr.xpath('./td[@class="chartBall01"]/text()'))
#     blue_ball = tr.xpath('./td[@class="chartBall02"]/text()')[0]
#     print("第" + data_time + "红球是：" + red_ball + " 蓝球：" + blue_ball)
#     cursor.execute(sql, [data_time, red_ball, blue_ball])
#     client.commit()
cursor.close()
client.close()
躺平睡觉岂不美哉
关注
专栏目录
python_双色球
李富贵的博客
01-29 1316
双色球练习 """ 彩票：双色球 蓝色：6个 1-33之间整数 不能重复 红色：1个 1-16之间整数 -- 随机创建一注彩票（列表,红色作为最后一个元素） -- 在终端中录入（购买）一注彩票 提示："请输入第1个蓝色号码" "数字超过范围" "号码已经存在" """ # -- 随机创建一注彩票 import random list_ticket ...
3.用Python爬虫，2003-2021的双色球数据
weixin_56703136的博客
07-07 1237
最近突然想研究下双色球，想用Python爬虫抓取2003-2021的双色球数据。 借鉴博客 1.《十行代码用pandas的read_html爬取中彩网双色球历年全部数据》 https://blog.csdn.net/wwivywwivy/article/details/81810067 2.《双色球网页历史数据爬取》 https://blog.csdn.net/coberup/article/details/82871660?utm_medium=distribute.pc_relevant.none-ta
python双色球
weixin_34297300的博客
04-27 380
# 1、红色球6个，1，33，蓝色球1个，1-16# 1、先从1，33之间取6个 random.sample([1,33],6)# 2，再从1-16之间取1个 random.choice([1,16])# 3、把双色球号码改成 红色球 01 02 03 04 05 06 蓝色球 07 的格式# 4、读到文件的内容， 判断刚才产生的双色球是否在文件中# 5、不在就写入import rando...
如何使用 Python 实现彩票自由（双色球）
最新发布
2401_85428892的博客
08-26 574
通过上面的几个步骤，我们实现了福彩双色球的选号、爬取中奖号码、判断是否中奖等功能，彩票完全自动化还有部分内容，在后面文章我们再细聊相比体彩大乐透，福彩双色球虽然奖项配置少一点，但是在尾部奖项上更容易中取；彩票作为一项公益事业，建议大家抱着做公益、娱乐的性质理性购买。
python生成双色球程序
weixin_34417183的博客
06-22 580
偶尔去买双色球，每次购买时都是随机选球，自己平时就用python,当然一直在学习，所以就用python写了一个随机或指定出双色球的脚本。代码如下：#!/usr/bin/python #-*-coding=utf-8-*- #byauthorSanat2016-03-03 importrandom importsys defCaiSeQiu(num=1):...
python 双色球
沉觞的博客
03-24 1237
''' 4.写一个双色球彩票系统，系统可以随机产生一组数据，一组彩票数据有六位数，这六位数的的取值范围是0和1。 一张彩票是两块钱，可以用户可以进行充值，充值完毕进入游戏,用户可以选择购买彩票的张数,判断余额是否充足, 若余额充足,让用户输入购买彩票的号码,提示用户,输入号码必须是6位0或1,若不对则让用户重新输入. 开奖,若用户中奖,中奖金额,是购买张数的金额10倍,若未中奖,打印继续努力. ...
python-双色球
m0_51273315的博客
03-29 1254
from random import randrange, randint, sample import random def display(balls): """ 按照题目所要求格式输出列表中的双色球号码 :param balls:双色球号码列表，如[9,12,16,20,30,33 3] :print:输出格式为09 12 16 20 30 33 | 03 :return: 无返回值 """ # 请在此处添加代码 .
核心基础-模拟生成福彩双色球彩票号码-Python源码示例.zip
12-13
这个程序展示了Python在自动化、数据分析、游戏开发以及网络爬虫等多个领域的应用潜力。下面将详细探讨相关知识点。 首先，我们要理解双色球彩票的基本规则。双色球彩票由6个红球（1-33中随机选择）和1个蓝球（1-16...
Python爬虫实现双色球头奖分布数据可视化
资源摘要信息:"python爬虫之双色球头奖分布查询显示" 知识点一：Python爬虫基础 Python爬虫是一种使用Python编程语言编写的程序，其主要目的是从互联网上自动获取数据。Python由于其简洁易懂的语法，丰富的第三方...
Python爬虫开源项目代码分享，100个
热门推荐
qq_38082146的博客
11-09 1万+
今天博主给大家带来了一份大礼，100个Python爬虫开源项目代码分享，都是完整的项目源码！！！ 本文下面所有的爬虫项目都有详细的配套教程以及源码，都已经打包好上传到百度云了，百度云下载链接在文章结尾处！ 大家自行获取即可~~~ Python爬虫开源项目代码（一）：入门级 1. CentOS环境安装 2. 和谐图网站爬取 3. 美空网数据爬取 4. 美空网未登录图片爬取 5. 27270图片爬取 6. 蜂鸟网图片爬取之一 7. 蜂鸟网图片爬取之二 8. 蜂鸟网图片爬取之三 9..
python爬虫爬取双色球网页数据并存入excel表格
03-18
wb.save("双色球数据.xlsx") ``` 相关问题： 1. Python爬虫是什么？ 2. 如何发送HTTP请求获取网页内容？ 3. 如何使用BeautifulSoup解析网页内容？ 4. 如何使用openpyxl创建和写入Excel表格？ 5. 如何保存Excel表格...
Python_双色球
Rookie_Max的博客
01-19 2756
循环语句和条件语句的综合应用 """ 彩票：双色球 红色：6个 1-33之间整数 不能重复 蓝色：1个 1-16之间整数 -- 随机创建一注彩票（列表,蓝色作为最后一个元素） -- 在终端中录入（购买）一注彩票 提示："请输入第1个红色号码" "数字超过范围" "号码已经存在" 一等奖是中了6红球加1蓝球 二等奖是中了6个红...
Python代码集----获取最近100期双色球的开奖结果并将结果写入csv文件
redrose2100的博客
04-10 1221
（3）执行python main.py，执行完成后会在当前目录下生成recent_100_results.csv 文件，为生成的结果文件，类似如下图所示。（2）代码实现如下，比如保存为main.py文件。（1）首先需要安装依赖包。
Python分析一下双色球，中大奖指日可待
Seon_Pan的记录库
08-15 1165
双色球数据分析，仅供技术讨论！
Python双色球系统
YiHong_Li的博客
07-21 690
import random print('游戏开始'.center(50, "*")) cardMoney = int(input("请为您的彩票卡充值(金额 > 2元)：")) while True: if cardMoney > 1: break else: cardMoney = int(input("请重新输入充值金额：")) while True: buyL...
Python爬取双色球，妈妈再也不会担心我不会中奖了
weixin_33752045的博客
03-18 1647
一、概况 一般大家都能会有个财富自由、时间自由的梦想。除了我们勤奋努力外，有些人运气比较好，买了一注彩票，瞬间会走上人生巅峰。彩票确实让有些人实现了这个梦想，但是这个概率太低了，低到无法想象。所以我们还是努力奋斗，做一个追梦人吧！ 我们今天就爬取有史以来所有的双色球数据，看看这些年哪些数字出现的次数比较高。有的小伙伴可能不知道双色球是什么？双色球顾名思义就是两种颜色的球，一个红色，一个蓝色。红球从...
将博客搬至CSDN
qq_41679358的博客
08-03 249
文章目录[隐藏] 将博客搬至CSDN 将博客搬至CSDN行云博客 - 免责申明 本站提供的一切软件、教程和内容信息仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序，请支持正版，购买注册，得到更好的正版服务。如有侵权请邮件与我(admin...
Python3爬虫实例-爬取双色球开奖记录并保存到数据库
鸟人的神秘基地
04-11 1155
import requests from fake_useragent import UserAgent from lxml import etree import pymysql class SqlHelper(object): def __init__(self): self.connect() def connect(self): s...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

躺平睡觉岂不美哉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值