爬取彩票网站数据界面版

完整代码

import requests
from lxml import etree
import xlwt
from pymongo import MongoClient
from tkinter import *

#设置浏览器的请求头,告诉服务器我们是从浏览器来的,作用是阻止被网站反爬
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
    'Accept-Encoding': 'gzip, deflate',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'Connection': 'keep-alive'
}
def show_entry_mongo():
    # 创建数据库
    client = MongoClient()
    database = client['Chapter6']
    collection = database['webdata']



    for i in range(1, 21):
        url = "http://kaijiang.zhcw.com/zhcw/html/3d/list_{}.html".format(i)
        #发送请求 得到数据
        response = requests.get(url=url,headers=headers)
        #print(response.text)

        #将数据改成xpath结构
        res_xpath = etree.HTML(response.text)
        trs = res_xpath.xpath('/html/body/table//tr')


        # 将数据写入MongoDB数据库
        for tr in trs[2:-1]:
            data = {
                '开奖日期': tr.xpath("./td[1]/text()")[0],
                '期号': tr.xpath("./td[2]/text()")[0],
                '中奖号码1': tr.xpath("./td[3]/em[1]/text()")[0],
                '中奖号码2': tr.xpath("./td[3]/em[2]/text()")[0],
                '中奖号码3': tr.xpath("./td[3]/em[3]/text()")[0],
                '销售额(元)': tr.xpath("./td[7]/strong/text()")[0],
                '返奖比例': tr.xpath("./td[8]/text()")[0]
            }
            collection.insert_one(data);

def show_entry_excel():
    #创建一个工作簿
    f = xlwt.Workbook()
    #添加一个工作表
    sheet3d = f.add_sheet("3d", cell_overwrite_ok=True)
    #往表里添加表头
    row0 = ['开奖日期','期号','中奖号码1','中奖号码2','中奖号码3','销售额(元)','返奖比例']
    for i in range(0,len(row0)):
        sheet3d.write(0,i,row0[i])
    j = 1

    for i in range(1, 21):
        url = "http://kaijiang.zhcw.com/zhcw/html/3d/list_{}.html".format(i)
        #发送请求 得到数据
        response = requests.get(url=url,headers=headers)
        #print(response.text)

        #将数据改成xpath结构
        res_xpath = etree.HTML(response.text)
        trs = res_xpath.xpath('/html/body/table//tr')
        # print(trs)

        # 写入循环
        for tr in trs[2:-1]:
            sheet3d.write(j,0,tr.xpath("./td[1]/text()")[0])
            sheet3d.write(j,1,tr.xpath("./td[2]/text()")[0])
            sheet3d.write(j,2,tr.xpath("./td[3]/em[1]/text()")[0])
            sheet3d.write(j,3,tr.xpath("./td[3]/em[2]/text()")[0])
            sheet3d.write(j,4,tr.xpath("./td[3]/em[3]/text()")[0])
            sheet3d.write(j,5,tr.xpath("./td[7]/strong/text()")[0])
            sheet3d.write(j,6,tr.xpath("./td[8]/text()")[0])
            j += 1;
    f.save('3D.xls')

master = Tk()

Button(text='写入数据库', command=show_entry_mongo).grid(row=0, column=0, sticky=W, pady=4)
Button(text='生成Excel文件', command=show_entry_excel).grid(row=0, column=1, sticky=W, pady=4)
Button(text='退出程序', command=master.quit).grid(row=0, column=2, sticky=W, pady=4)
mainloop( )

1.准备工作:

1.1安装requests: cmd >> pip install requests
1.2 安装lxml: cmd >>  pip install lxml
1.3 安装xlwt: cmd >> pip install xlwt
1.4 安装pymongo: cmd >> pip install pymongo

运行效果

 

 

注:1.当点击写入数据库时,将数据写入MongoDB数据库,

2.当点击生成Excel文件时,生成Excel文件,

3.点击退出程序,退出

转载于:https://www.cnblogs.com/kinblog/p/11014394.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本人经过几年的努力,终于掌握了C#的编程,与同学一起开发了这套软件。与各位网友共勉。 1.5正式推出!主要修正了(以下都是重大问题所以应及时更新,对给您造成的不便,本公司深表歉意): 1、重装软件后提示30天试用期已过的BUG; 2、机器码和注册码的0和字母O不好区分的问题。 3、一个注册表错误,会使软件重启后当成试用期结束。 “世间能有几回运,彩票游戏存玄机” ,也许您会有疑问:彩票开奖号码不是完全随机的吗?那我还算什么,随便写几个数字买算了!!其实您错了,世界上并没有绝对理想的随机数,就算是用电脑也只能产生接近随机的数:在彩票开奖产生号码时,诸如摇奖机的物理特性、每个球的重量和光滑度的差异、空气的流动性等等都会使开奖结果产生一定的偏态,在中短期内有一定的规律可寻。 那么怎样才能找出偏态,利用偏态提高中奖的概率呢?用手工显然不行,您需要一款称手软件!但是现在彩票软件多得让人眼花缭乱,哪个才是适合您的呢?得彩易彩票旋转矩阵选号杀号王双色球专用的问世,解决了您的烦恼,您只要下载使用了,软件就会主动成为您的好帮手,让您中奖不再是梦想! 本公司双色球项目开发小组根据组里多名长年研究彩票双色球的专家的成果,经过反复的概率验证,精心设计了算法,其中大部分属于本公司原创独有。程序运行时随着期数的增加,出号趋势会愈发明显,算法也会愈发准确,一般开奖期数在最近50-150期时效果最为明显。 友情提示:彩票软件可以帮您提高中奖的概率,但并不能保证您100%中大奖,本软件也不例外!如果有所谓专家向您推荐号码并保证能中大奖的,请您一定要当心受骗! 1、本软件基于微软.net框架进行开发,技术先进。 2、市面上的一般彩票软件所提供的旋转矩阵只有廖廖几个方案(如保6中5,保5中4),本软件则提供了几十种方案,应有尽有。 3、选号杀号功能的强大和全面是其它一般彩票软件所没有的。 4、过滤功能全面,完全可以满足需要。 5、开奖数据可以更新,导入和导出,极大的方便彩民朋友。 6、学习容易,帮助文档详尽,上手极快。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值