python爬虫 之 scrapy框架采集2000期彩票数据

最新推荐文章于 2024-05-14 04:46:44 发布
最新推荐文章于 2024-05-14 04:46:44 发布
阅读量990 收藏 6
点赞数 1
分类专栏： python爬虫 scrapy 文章标签： python 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TTXSDEKK/article/details/110455313
版权

python爬虫 之 scrapy框架采集2000期彩票数据

最近学习一下数据分析，需要大量的数据，不知道搞啥好就用scrapy框架爬2000期的彩票双色球，看看哪个号码出现的机率大一些。
第一步：

  1. 在终端切换到想要新建爬虫文件的目录下利用 cd XXXX 进行切换 在这里插入图片描述

  2. 输入scrapy startproject 文件名 ，并利用cd 文件名 切换到新建目录!在这里插入图片描述
    我这里新建了一个项目叫gansha 这里成功了就可以看到提示输入cd gansha 进入到项目中

  3. 输入scrapy genspider 爬虫名 www.XXXXX.com 创建一个爬虫文件，后面的网址可以随便写到时候进入爬虫文件里面可以改。 我这里创建了一个叫ganshane的爬虫文件。在这里插入图片描述
    看到这个就说明已经创建好了。我们可以在目录里面看到在这里插入图片描述
    这里 gansha 是项目名 里面包含

    1. spiders (里面包含用户自己写的爬虫代码，用的最多),
    2. int.py (基本上用不着 不管),
    3. items.py (items代码模块，持久化储存用的),
    4. middlewares.py (中间件，作用很多UA伪装，代理设置，scrapy结合selenium需要在这里拦截请求然后让 selenium请求url并返回数据。。。等等),
    5. pipelines.py（管道 pipelines代码模块）,
    6. setings.py（配置文件）

这个是演示流程随便建的一个，我实际创建的是这个在这里插入图片描述

第二步：点击capa.py 打开文件，写爬虫代码

  1. 进入页面
    在这里插入图片描述
    发现数据都在 tebody 下的 tr 标签里面但是第一个 tr 和第二个 tr 标签是表头的一些信息是我不要的，最后一个tr标签里面是页面信息也不是我要的所以要剔除
    所以用xpath解析到
#拿到有效数据的tr标签列表
#xpath解析式不能有‘tebody’ 
#[2:-1]剔除掉不要的tr标签
tr_list = response.xpath('/html/body/table//tr')[2:-1]
# 遍历列表拿到数据
for tr in tr_list:
    day = tr.xpath('./td[1]/text()')[0].extract() #在scrapy里面xpath解析要拿到数据后面都要加上.extract()
    center = tr.xpath('./td[2]/text()')[0].extract()#也可以写成extract_first()
    red1 = tr.xpath('./td[3]/em[1]/text()')[0].extract()
    red2 = tr.xpath('./td[3]/em[2]/text()')[0].extract()
    red3 = tr.xpath('./td[3]/em[3]/text()')[0].extract()
    red4 = tr.xpath('./td[3]/em[4]/text()')[0].extract()
    red5 = tr.xpath('./td[3]/em[5]/text()')[0].extract()
    red6 = tr.xpath('./td[3]/em[6]/text()')[0].extract()
    blue = tr.xpath('./td[3]/em[7]/text()')[0].extract()
    # 这里就拿到了一页的全部期号和双色球的号码
  1. 首页 url = ‘http://kaijiang.zhcw.com/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=1’
    第二页url = ‘http://kaijiang.zhcw.com/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=2’ 很容易分析出规律
    所以
url = 'http://kaijiang.zhcw.com/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum={}'
n = 1
while n <= 132:
   new_url = url.format(n)
   n += 1
   #绑定回调到解析的函数就可以拿到所有的数据

spider代码：

import scrapy
from caipiaopa.items import CaipiaopaItem  #


class CapaSpider(scrapy.Spider):
    name = 'capa'
    # allowed_domains = ['www.cc.com']
    start_urls = ['http://kaijiang.zhcw.com/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=1'] #起始页url
    url = 'http://kaijiang.zhcw.com/zhcw/inc/ssq/ssq_wqhg.jsp?pageNum=1{}' 
    page = 2
    def parse(self, response):
        tr_list = response.xpath('/html/body/table//tr')[2:-1]
        for tr in tr_list:
            day = tr.xpath('./td[1]/text()')[0].extract()
            center = tr.xpath('./td[2]/text()')[0].extract()
            red1 = tr.xpath('./td[3]/em[1]/text()')[0].extract()
            red2 = tr.xpath('./td[3]/em[2]/text()')[0].extract()
            red3 = tr.xpath('./td[3]/em[3]/text()')[0].extract()
            red4 = tr.xpath('./td[3]/em[4]/text()')[0].extract()
            red5 = tr.xpath('./td[3]/em[5]/text()')[0].extract()
            red6 = tr.xpath('./td[3]/em[6]/text()')[0].extract()
            blue = tr.xpath('./td[3]/em[7]/text()')[0].extract()

        while self.page <= 132:
            new_url = self.url.format(self.page)
            self.page += 1
            yield scrapy.Request(new_url, callback=self.parse) #绑定回调(自己)

这里只是解析出了数据，还没有持久化存储

第三步：将解析到的数据封装储存在item类型对象中。

  1. 点开 items.py 。
  2. 在class CaipiaopaItem(scrapy.Item): 里定义我们解析出来的数据字段，将其定义为item对象的属性
class CaipiaopaItem(scrapy.Item):
    day = scrapy.Field()
    center = scrapy.Field()
    red1 = scrapy.Field()
    red2 = scrapy.Field()
    red3 = scrapy.Field()
    red4 = scrapy.Field()
    red5 = scrapy.Field()
    red6 = scrapy.Field()
    blue = scrapy.Field()
  1. 再打开爬虫文件 把item类导入 ，并实例化item类型对象，将数据提交。
    spider 完整代码：
import scrapy
from caipiaopa.items import CaipiaopaItem


class CapaSpider(scrapy.Spider):
    name = 'capa'
    # allowed_domains = ['www.cc.com']
    start_urls = ['http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html']
    url = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_{}.html'
    page = 2

    def parse(self, response):
        item = CaipiaopaItem() #实例化item类型对象
        tr_list = response.xpath('/html/body/table//tr')[2:-1]
        for tr in tr_list:
            day = tr.xpath('./td[1]/text()')[0].extract()
            center = tr.xpath('./td[2]/text()')[0].extract()
            red1 = tr.xpath('./td[3]/em[1]/text()')[0].extract()
            red2 = tr.xpath('./td[3]/em[2]/text()')[0].extract()
            red3 = tr.xpath('./td[3]/em[3]/text()')[0].extract()
            red4 = tr.xpath('./td[3]/em[4]/text()')[0].extract()
            red5 = tr.xpath('./td[3]/em[5]/text()')[0].extract()
            red6 = tr.xpath('./td[3]/em[6]/text()')[0].extract()
            blue = tr.xpath('./td[3]/em[7]/text()')[0].extract()
            item['day'] = day   #数据封装储存在item类型对象中
            item['center'] = center
            item['red1'] = red1
            item['red2'] = red2
            item['red3'] = red3
            item['red4'] = red4
            item['red5'] = red5
            item['red6'] = red6
            item['blue'] = blue
            yield item  #将数据提交给管道

        while self.page <= 132:
            new_url = self.url.format(self.page)
            self.page += 1
            yield scrapy.Request(new_url, callback=self.parse)

第四步：在管道里接收item封装的数据，并持久化存储。

  1. 点开 pipelines.py 写入持久化存储的方法
  2. 这里我定义了两个类把数据一份存储在本地csv文件，一份存入MYSQL数据库中
from itemadapter import ItemAdapter
import pymysql #导包


class CaipiaopaPipeline: #存储到本地csv文件
    fp = None  
    def open_spider(self,spider): #避免打开文件多次
        self.fp = open('./2000期彩票.csv', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        day = item['day']
        center = item['center']
        red1 = item['red1']
        red2 = item['red2']
        red3 = item['red3']
        red4 = item['red4']
        red5 = item['red5']
        red6 = item['red6']
        blue = item['blue']
        self.fp.write(day+','+center+','+red1+','+red2+','+red3+','+red4+','+red5+','+red6+','+blue+'\n')
        return item #传个下一个管道类接受
    def close_spider(self,spider):#关闭文件
        self.fp.close()


class MysqlPipeline: #写入MYSQL数据库
    conn = None
    cou = None 
    def open_spider(self,spider):
        self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='xxx', password='xxx', db='spider', charset='utf8') #定义连接对象
        print(self.conn)

    def process_item(self, item, spider):
        day = item['day']
        center = item['center']
        red1 = item['red1']
        red2 = item['red2']
        red3 = item['red3']
        red4 = item['red4']
        red5 = item['red5']
        red6 = item['red6']
        blue = item['blue']
        #执行的mysql语句 向数据表里面插入数据
        sql = 'insert into 彩票 values("%s","%s","%s","%s","%s","%s","%s","%s","%s")'%(day, center, red1, red2, red3, red4, red5, red6, blue)
        self.cou = self.conn.cursor() #定义游标对象
        try: #事故处理 没有错误就直接提交，插入不成功就回滚到开始的位置
            self.cou.execute(sql)
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()

        return item  #传个下一个管道类接受
    def close_spider(self,spider): #关闭连接和游标
        self.cou.close()
        self.conn.close()

第五步：在设置文件中关闭robots协议，定义日志，开启管道类，简单的UA伪装
点开 setings.py

  1. 简单的ua伪装
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
  1. 关闭rebots协议，定义日志类型
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR' #只输出错误的日志
  1. 开启管道
ITEM_PIPELINES = {
   'caipiaopa.pipelines.CaipiaopaPipeline': 300, #300，301数字代表优先级，越小优先集越高
   'caipiaopa.pipelines.MysqlPipeline': 301,
}

第六步：再次打开终端，进入到项目目录中输入 > scrapy crawl spider capa 回车就ok了

这里数据就采集完了。
本地数据部分截图
在这里插入图片描述
这是数据库里部分截图
在这里插入图片描述
因为scrapy是基于异步爬取的所以日期都是乱的 MySQL可以按照期号顺序查询
select * from 彩票 order by 期号 ;
这样数据就是按照顺序排好的。
当然本地文件也可以导入到pandas进行排序。。

最后简单的分析下数据

import pandas as pd   #数据处理和分析，清洗
#引入数据                            处理表头       处理行索引
df = pd.read_csv('2000期彩票.csv', header=None, index_col=0)

# 把红球号码拿出来  行：所有行都要   列：从1到6
red_boll = df.loc[:, 2:7]#用逗号分隔 先拿行再拿列
#把蓝球号码拿出来
blue_boll = df.loc[:, 8]
# #统计每个号码出现的频率             扁平化处理
red_boll_count = pd.value_counts(red_boll.values.flatten())
blue_boll_count = pd.value_counts(blue_boll)
print(red_boll_count, blue_boll_count)

红球数字出现频率
在这里插入图片描述
蓝球数字出现频率
在这里插入图片描述
感觉都差不多，所以买彩票还是靠运气！！

无恶不作杰尼龟
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
scrapy-redis分布式爬取彩票网站信息
biteone的博客
08-07 1289
准备： 首先，希望学习这篇博文的人具有一定的爬虫知识，或者具备快速学习基础内容的能力，因为有些基础的爬虫知识和内容，需要你们自己加强和掌握，本文基于此基础上，对redis-scrapy框架进行一定的阐述。 环境：python 3.6，linux系统为ubantu 过程： 首先创建项目名称为winnumber，选择好项目的路径后，在终端下输入scrapy startproject winn
Python爬虫框架Scrapy实战之批量抓取招聘信息
09-21
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套完整的解决方案，用于高效地抓取网页数据和处理数据。在本文中，我们将深入探讨如何使用Scrapy来批量抓取招聘信息，以腾讯招聘官网为例。 首先，理解网络...
彩票的数据可视化
derek881122的博客
01-21 791
作者：hhh5460 概要 （略） 一、问题 为了将问题简化，不妨假设，某种数字彩票只有0~9十个数字，每次开出其中的一个数字（如6），作为中奖号码。 下面是某段时期内开出的号码： 期数 号码 20160922 3 20160923 8 20160924 6 20160925 1 20160926 1 20160927 9 20160928 0 ...
最新用Python爬取淘宝2000款T T，2024年最新阿里面试被放鸽子
最新发布
m0_61072747的博客
05-14 723
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Scarpy 学习记录（scrapy爬取双色球，并pyinstaller打包）
Light_Bob的博客
12-11 396
一、创建窗口 import tkinter as tk root = tk.Tk() root.title('hello') #设置窗口标题 root.geometry('300x200') #设置窗口初始大小，注意中间使用x root.mainloop() 一、创建窗口 完整代码 # -*- coding: utf-8 -*- """ ------------------------------------------------- File Name： bilibiliFragme.
Python爬虫彩票数据（120期）爬取
꧁༺ʚvv༒catɞ༻꧂的博客
10-06 2502
目录使用工具代码示例效果展示 使用工具 PyCharm 2018.2.3 Anaconda Navigator Python 3.6 谷歌浏览器插件：chrome_Xpath_v2.0.2 微云 代码示例 #_*_coding:utf-8_*_ # @Author: VVcat # @Time: 2019/10/6 11:03 # @File: LotteryWebsite.py # @IDE: ...
python如何过获取双色球信息_【编程】Python爬虫获取双色球数据
weixin_39981681的博客
12-05 314
#爬虫获取双色球的全部开奖数据#使用class，#格式：import urllib.requestimport platformfrom bs4 import BeautifulSoupimport osimport sysimport inspectimport operatorimport timeimport datetimeimport reimport shutilFILE_DIR = ...
完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf
06-19
本教程将实际操作使用Python Scrapy框架爬取传智播客教师页面教师的个人信息。 爬取页面网址：http://www.itcast.cn/channel/teacher.shtml#ac Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于...
零基础写python爬虫之使用Scrapy框架编写爬虫
12-23
使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。 首先先要回答一个问题。 问：把网站装进爬虫里，总共分几步？ 答案很简单，四步： 新建项目 (Project)：...
Python爬虫框架Scrapy基本用法入门教程
09-20
Scrapy是Python编程语言中的一款强大且高效的爬虫框架，专为数据抓取和Web抓取任务设计。它提供了一整套结构化的处理流程，包括网络请求、数据解析、存储等，大大简化了爬虫项目的开发。本教程将介绍Scrapy的基本...
Python网络爬虫教程 数据采集课程 10-Scrapy爬虫框架（共34页）.pptx
04-15
【课程简介】 本课程适合所有需要弥补python网络爬虫的同学，课件内容制作精细，由浅入深...10-Scrapy爬虫框架（共34页）.pptx 11-Scrapy爬虫基本使用（共32页）.pptx 12-实例4-股票数据定向Scrapy爬虫（共23页）.pptx
彩票的数据库
12-26
彩票的后台的数据库设计,这里有个现成的,可以参考下....这个资源是sql脚本,下载运行执行就可以了..
彩票大数据全能统计工具
11-25
内置2017年11月15日到2018年8月10日，分分39万期数据，根据自己喜好，添加方案，然后进行大数据统计，很实用的工具。
基于Scrapy爬虫框架批量获取创冰DATA体育数据运营平台赛事数据
06-19
本资源为本人因毕业论文需要对创冰DATA网站的数据进行的批量操作，其中包含了多个爬取方法，请结合自身需要进行使用！ 另外，由于本人能力不足，精力有限，瑕疵在所难免，如有错误，有请高人高抬贵手，尽可指出。 最后，本资源仅供学术用途，不用于商业，如有侵权，必将追究到底！
PowerBuilder简易彩票数据分析软件源码
09-12
PowerBuilder简易彩票数据分析软件源码
scrapy 爬取腾讯招聘几千条数据
liuzemeeting的博客
02-02 584
1.先通过 scrapy startproject mytencent 命令创建一个爬虫文件 2.再通过scrapy genspider tencent www.hr.tencent.com 创建一个蜘蛛 3.查看原网页分析数据，通过xpath选择要爬取的数据，然后再item.py文件中添加需要保存的数据列名 positionName = scrapy.Field()#职位名称 posi...
目标跟踪python代码_使用少于30行的python代码进行联系人跟踪
weixin_26755331的博客
09-30 953
目标跟踪python代码Contact tracing is the name of the process used to identify those who come into contact with people who have tested positive for contagious diseases — such as measles, HIV, and COVID-19. D...
彩票数据分析
conglan7945的博客
05-24 2053
目标：（官话）彩票分析目标只是想健康有效的长期发展彩票事业，希望参与的人广而平均投入的金额少，不影响社会的和谐发展。说白了，就是国家以一种方式收钱，但让大家别因为此跳楼抱怨之类的，自愿方式 手段： 1，发现数据的背后的一些潜...
python爬取去哪网数据_Python|爬取彩票数据
weixin_39824223的博客
11-19 471
pyhton|爬取彩票数据背景：作者之前看到过不少朋友介绍利用python环境来爬取彩票数据的文章，方法大致都很类似，今天我也讲一下关于传统方法解析网页获得数据，同时给大家介绍一种可能被大家忽略的方法，对于网页结构化的表的数据可以获得比较高的数据获取效率。环境：Python3.7/MongoDB目标爬取页面：http://kaijiang.zhcw.com/zhcw/html/3d/list.ht...
Python爬虫框架Scrapy
09-17
Scrapy是一个基于Twisted实现的异步处理爬虫框架，它使用纯Python语言编写。Scrapy框架广泛应用于数据采集、网络监测和自动化测试等领域。要使用Scrapy框架，首先需要进行环境配置。可以通过使用pip命令安装pywin32、wheel、twisted和scrapy。安装完成后，可以使用常用命令来创建新项目、生成爬虫文件、运行爬虫以及查看项目配置信息等。Scrapy框架的运行原理包括流程图和各部件的功能介绍。希望这些信息对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无恶不作杰尼龟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值