python抓取历年特码开奖记录

背景:

小时候,有种游戏,两个主人公:白XX和曾XX,每个家庭把他俩像活菩萨一样供着,供他们吃,供他们穿

做生意的老板为了这两位活菩萨,关门大吉

农民为了这两位活菩萨卖牛卖田变卖家产

做官的为了这两位活菩萨丢掉乌纱帽

跳楼,自杀,跳河,跑路 成了一时的风气

当然,买码也是闹出很多笑话的

比如:不识字的农民看个CCTV7频道还看出了个特码,最后押注了07,还特么中了大奖。

          很多人为了白XX和曾XX,最后变成了CCTV少儿频道天线宝宝的忠实粉丝,这也可以看出特码啊,有木有啊

想起一位长者退休后俨然成为白XX和曾XX的文员,每天都会手动更新记录资料和各种画图,当时我就在想要是我读书能有他一半认真,起码要把北京城读一圈才肯放手。

干活开始,准备将这个东西作为一个系列来深入的研究一下

巧妇难为无米之炊,今天Buddyquan就先想办法把数据从网上弄下来

知识点:splinter库的使用,将抓取数据存入数据库,pandas库连接Mysql数据库进行数据的调用和基本统计整理

教程:谷歌chrome浏览器驱动的安装

 简单阐述为什么这次数据抓取选择这个库的原因:

1.一切都得从12306开始说起,当时已经自己倒腾出了查票的一套小程序,可是一直在想怎么绕过那个验证码,后来到网上各种找,看有没有解决办法,真的是东边不亮,亮西边,解决验证码的答案是没找到,倒是搜出了一大把标题党,其实内容就是介绍这个库的使用,耐着性子边操边练,也算入了门,后来去读了官方文档,发现这个家伙用处还是挺大

 2.查了很多XXXX彩的网站,发现坑爹的一点就是所有开奖记录都是js生成的网页代码,刚好splinter库的broswer.html返回的就是响应了js后的网页文本(和审查元素看到的一样一样的)

 3.1976年到2017年,也就41年,也就是说只要访问41次网页即可,对内存也造成不了多大的伤害,综合考虑,这个splinter就可以派上用场了

 那么splinter能干些啥呢?用网上的一句话概括就是:

 Splinter执行的时候会自动打开你指定的浏览器,访问指定的URL。

然后你所开发的模拟的任何行为,都会自动完成,你只需要坐在电脑面前,像看电影一样看着屏幕上各种动作自动完成然后收集结果即可。

使用参考文档:http://www.chinaz.com/program/2015/1209/481234.shtml

 官方文档:https://splinter.readthedocs.io/en/latest/tutorial.html

怎么安装splinter和chrome浏览器驱动

 Step1.安装splinter库(pip install splinter)

step2:安装浏览器驱动,我选择的是chrome的驱动

1.下载。2.解压。3.放至C:\Windows\System32 4.OK

驱动链接:http://pan.baidu.com/s/1nv2ni5N 密码:5c1c

接下来就开始抓取开奖结果相关的等一些字段吧!

网址通过浏览器搜索找到(这种类型的网站,有很多很多的。不过开奖记录基本上都是js生成的。)

我们看到,这种开奖记录,比小时候大家只去关注最终数字,情况是好的多,连笔画,五行都特么有。拿着放大镜数了一下共27个有价值字段我们可以取出

1.建个表,把数据写入数据库这种办法还是不错的,到时不管什么时候需要做有趣的统计分析研究的时候,直接拿数据就行了。

不用建表语句写入程序中是因为有没有发现navicat for mysql确实很好用啊。

2.网页基本分析完成,表也随着建好了之后,就是取数据了。

3.成功绕开用正则和json去解析js生成代码的痛苦,直接上splinter。

# coding utf-8
import requests
from bs4 import BeautifulSoup
from splinter.browser import Browser
import pymysql
from PIL import Image
import pandas as pd #用作之后做数据处理分析
b = Browser(driver_name="chrome") #启动浏览器驱动
con=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123',db='quan',charset='utf8') #连接数据库
cur=con.cursor() #创建游标
def get_html(url):
    b.visit(url)
    html=b.html
    return html
pic_url='http://cimg2.163.com/catchpic/E/E7/E788DE8C249168F3C6B6CF878A633E04.jpg'
url1='http://www.*****.com/kj/'
year=[a for a in range(1976,2018)]
num=1
for c in year:
    url=url1+str(c)
    s=BeautifulSoup(get_html(url),'lxml')
    length=len(s.find_all('tr',class_='nowTo001'))
    for i in range (length):
        value_list=[]
        for d in s.find_all('tr',class_='nowTo001')[i].stripped_strings:
            value_list.append(d)
        try:
            sql="replace into buddyquan \
            (year,qishu,ma1,shengxiao1,ma2,shengxiao2,ma3,shengxiao3,ma4,shengxiao4,ma5,shengxiao5,ma6,shengxiao6,tema,\
            texiao,tebo,tetou,danshuang,wuxing,jiaye,daxiao,weishu,duanwei,bihua,nannv,heshu,zonghe) \
            values ('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s',\
            '%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')" \
            %(value_list[0][:4],value_list[0][5:-1],value_list[1],value_list[2],value_list[3],value_list[4],\
             value_list[5],value_list[6],value_list[7],value_list[8],value_list[9],\
            value_list[10],value_list[11],value_list[12],value_list[25],value_list[27],\
             value_list[28],value_list[29],value_list[30],value_list[31],value_list[32],\
             value_list[33],value_list[34],value_list[35],value_list[36],value_list[37],value_list[38],value_list[39])
            cur.execute(sql)
            con.commit() #提交事务
            print ('插入成功  %s %s %s'% (value_list[0][:4],value_list[0][5:],num))
        except Exception as e:
            print ('插入错误\n%s ' % e)
            con.rollback() #回滚事务
        num=num+1
    print ('完成 %s 年开奖结果采集 ' % value_list[0][:4])
print ('特码来啦!\n已成功完成历年开奖结果采集,共 %s 期' % num)
with open ("d://missbai.jpg",'wb') as f:
    f.write(requests.get(pic_url).content)
missbai=Image.open("d://missbai.jpg")
missbai.show()
b.quit()

代码的方法很笨,还有很多地方可以优化,烦请各位大神多多指教

吃着火锅唱着歌,看着浏览器翻云覆雨狂奔之后,数据存入到了数据库中

这里用一个num打印了期数 

可以看到,自开奖至今,已经进行了4865次,有多少人N年如一日啊。哎

数据已写入数据库,今天就先简单的用pandas库稍微热热身吧(虽然这点数据量用excel已经可以起飞了)

我们先将pd的行数设置为8行,显示宽度调为200,这样更便于查看数据

 读取数据库数据所有数据(这里可以选择你想读取的任何数据,可以理解成用SQL提取数据然后用pandas来交互)

查看一下数据(效果还是差了点,列的宽度还存在问题,可以通过pd.set_option('display.max_colwidth',20)来设置列的最大宽度,将就着用吧)

 我们先把显示台的最大宽度调为49

 

来来来,天线宝宝的粉丝们,猜猜哪一个数字开奖频数最大啊

叫你买4X,买买买。本命年多个数字没毛线大作用啊。

那你知道哪个生肖频数最大吗?

 你还继续供着白XX和曾XX,把天线宝宝作为偶像的话,真的会变猪的啊。

预知后事如后,请听下回分解

注:本文的统计分析描述,毫无参考意义,开奖数据均已经过掺假处理,所展示数据均为虚拟数据,珍爱生命,远离白X姐和天线宝宝

概率事件的东西总是个磨人的小妖精,你心动了吗?因个人能力有限,如果你心动了,真诚的邀请您一起加入之后很多有趣的数据统计分析工作。

能力有限,做的不好的地方,大神们多多包含,尤其是逻辑与思维上的东西,需要大神们看到了多多指教和斧正。

Buddyquan博客:https://home.cnblogs.com/u/buddyquan/

QQ:1749061919 爬虫交流,数据交流

 

  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值