使用Scrapy框架编写 东方财富网eastmoney的爬虫

最新推荐文章于 2022-12-02 16:54:51 发布
最新推荐文章于 2022-12-02 16:54:51 发布
阅读量2.4k 收藏 17
点赞数 3
分类专栏： 笔记类 文章标签： python 东方财富 scrapy 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20176001/article/details/94148439
版权

打开http://guba.eastmoney. om/点击   热门个股吧 里面的更多 

进入到这个界面，可以看到股票基本上有了，然后点击F12，打开网页源码 

首先可以查看菜单也就是泸市，深市那一块 

然后 为了方便，干脆就直接列出如下的起始地址

 

'http://guba.eastmoney.com/remenba.aspx?type=1&tab=1'
"http://guba.eastmoney.com/remenba.aspx?type=1&tab=2",
"http://guba.eastmoney.com/remenba.aspx?type=1&tab=3",
"http://guba.eastmoney.com/remenba.aspx?type=1&tab=4",
"http://guba.eastmoney.com/remenba.aspx?type=1&tab=5",
"http://guba.eastmoney.com/remenba.aspx?type=1&tab=6"

接着看每一个菜单对应下面的具体股吧的信息

可以 看出，网页市分成 两块进行展示的，也就是ngblistul2和 ngblistul2 hide 对应的ul下

 如下

以及点击 查看更多 之后的其他的股吧

我们点开其中一个之后查看下面的网页结构

 

也就是<a>标签里面的href就是我们想要的信息

记得将 ngblistul2和 ngblistul2 hide下的href拼接起来

list = response.xpath('/html/body/div[1]/div[5]/div[2]/div[1]/div/ul[1]/li')
list2 = response.xpath('/html/body/div[1]/div[5]/div[2]/div[1]/div/ul[2]/li')
list.extend(list2)

   获取到股吧的对应的网址之后，我们点开其中一个网页http://guba.eastmoney.com/list,600000.html

 有这样一些信息

也就是我们要爬去到的信息

打开网页源码

可以很容易看到我们要获取的信息，但这里那就是个坑

那就是能直接获取的只有股吧 名，像成交量涨幅 什么的并不能直接爬去到，后来 我重新加载了一下网页之后

找到了他异步获取数据的请求

由于不清楚这些参数有啥用，所以 只能 去看一下ｊｓ源码

最后发现参数只需要更改 cmd 的 就可以了

那么 问题来了，cmd的 参数如何设置才合理了，因为股票编号和cmd的貌似不太一样

于是直接查找了一下网页源码中 6000001 所在的位置，发现存在于一个script就 存在了我们需要的信息

也就是里面的  quotecode就是 我们需要的cmd 参数，用如下进行提取

quoteCode = response.xpath('//*/script').re(r"var QuoteCode = \"(.*)\";")[0]

提取之后就是模拟发送请求了

quoteURL = "http://nufm.dfcfw.com/EM_Finance2014NumericApplication/JS.aspx?type=CT&cmd=" + quoteCode + "&sty=FDFGBTB&st=z&sr=&p=&ps=&lvl=&cb=?&js=&token=5c46f660fab8722944521b8807de07c0";
        getres = self.send(quoteURL)
        tt=str(getres.decode('utf8')[4:-3]).split(",")
        print(tt)
def send(self,url):
        req = request.Request(url=url, headers=self.headers)
        res = request.urlopen(req)
        res = res.read()
        return res
        # 输出内容(python3默认获取到的是16进制'bytes'类型数据 Unicode编码，如果如需可读输出则需decode解码成对应编码):b'\xe7\x99\xbb\xe5\xbd\x95\xe6\x88\x90\xe5\x8a\x9f'
        print(res.decode(encoding='utf-8'))
        # 输出内容:登录成功

 好了，基本上就是这些了

接下来 直接给代码把

首先是一个start.py脚本，用来定时启动爬虫，在指定时间点运行

import datetime
import time

from scrapy import cmdline


def doSth(hour,min):
    # 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name
    straa = 'scrapy crawl eastmoney -o ' + str(hour)+str(min)+".csv"
    cmdline.execute(straa.split())


# 想几点更新,定时到几点
def time_ti():
    while True:
        now = datetime.datetime.now()
        # print(now.hour, now.minute)
        if now.hour == 9 and now.minute == 30:
            doSth(9,30)
        if now.hour == 14 and now.minute == 30:
            doSth(14,30)
        if now.hour == 22 and now.minute == 0:
            doSth(22,00)
        # 每隔60秒检测一次
        time.sleep(60)
if __name__ == '__main__':
    time_ti()

然后是item.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class EastmoneyspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # 股票名字
    name = scrapy.Field()
    # 股票编码
    id = scrapy.Field()
    # 关注量
    man_number = scrapy.Field()
    # 当前热度排行
    now_hot = scrapy.Field()
    # 最新
    latest = scrapy.Field()
    # 涨跌
    zhangdie = scrapy.Field()
    # 涨幅
    zhangfu = scrapy.Field()
    # 成交量
    chengjiaoliang = scrapy.Field()
    # 成交额
    chengjiaoe = scrapy.Field()
    # 流通市值
    shizhi = scrapy.Field()
    # 换手
    huanshou = scrapy.Field()
    # 振幅
    zhenfu = scrapy.Field()
    # 市盈
    shiying = scrapy.Field()
    pass

 

  eastmoneyspider\spiders\eastmoney.py,也就是爬取流程

# -*- coding: utf-8 -*-
import re
import time

import scrapy
from urllib import parse,request
from eastmoneyspider.items import EastmoneyspiderItem
class eastmoneySpider(scrapy.Spider):
    name = 'eastmoney'
    allowed_domains = ['guba.eastmoney.com']
    data = []
    # 浏览器用户代理
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'
    }
    # 指定cookies
    cookies = {
        'qgqp_b_id': 'c6fbd3a403db8993b4dd3eb2a320ccb6',
        'st_si': '73594088022242',
        'em_hq_fls': 'js',
        'st_asi': 'delete',
        'HAList': 'a-sh-600000-%u6D66%u53D1%u94F6%u884C%2Ca-sh-601388-%u6021%u7403%u8D44%u6E90%2Ca-sh-603019-%u4E2D%u79D1%u66D9%u5149',
        '_adsame_fullscreen_17590': '1',
        'st_pvi': '70133729415159',
        'st_sp': '2019-06-23%2013%3A22%3A52',
        'st_inirUrl': 'https%3A%2F%2Fwww.sogou.com%2Flink',
        'st_psi': '20190623160613932-117001300421-1256798903',
        'st_sn': '46'
    }
    urls = [
        'http://guba.eastmoney.com/remenba.aspx?type=1&tab=1'
        "http://guba.eastmoney.com/remenba.aspx?type=1&tab=2",
        "http://guba.eastmoney.com/remenba.aspx?type=1&tab=3",
        "http://guba.eastmoney.com/remenba.aspx?type=1&tab=4",
        "http://guba.eastmoney.com/remenba.aspx?type=1&tab=5",
        "http://guba.eastmoney.com/remenba.aspx?type=1&tab=6"
    ]

    # 重写start_requests方法
    def start_requests(self):
        for url in self.urls:
            time.sleep(0.2)
            yield scrapy.Request(url=url, headers=self.headers, cookies=self.cookies, callback=self.parse)

    def parse(self, response):
        #这里是选择一中股票类型，列出他下面的所有的选项
        list = response.xpath('/html/body/div[1]/div[5]/div[2]/div[1]/div/ul[1]/li')
        list2 = response.xpath('/html/body/div[1]/div[5]/div[2]/div[1]/div/ul[2]/li')
        list.extend(list2)
        for i in list:
        #if True:
            #i = list[1]
            url = i.css('a::attr("href")').extract_first()
            detail = response.urljoin(url)
            yield scrapy.Request(url=detail, headers=self.headers, cookies=self.cookies, callback=self.parse2)
    def parse2(self,response):
        item = EastmoneyspiderItem()
        item['name'] = response.xpath('//*[@id="stockname"]/a/text()').extract_first()
        # 关注量
        item['man_number'] = response.xpath('//*[@id="stockheader"]/div[1]/span[1]/em/text()').extract_first()
        # 当前热度排行
        item['now_hot'] = response.xpath('//*[@id="stockheader"]/div[1]/span[2]/em/text()').extract_first()

        quoteCode = response.xpath('//*/script').re(r"var QuoteCode = \"(.*)\";")[0]
        quoteURL = "http://nufm.dfcfw.com/EM_Finance2014NumericApplication/JS.aspx?type=CT&cmd=" + quoteCode + "&sty=FDFGBTB&st=z&sr=&p=&ps=&lvl=&cb=?&js=&token=5c46f660fab8722944521b8807de07c0";
        getres = self.send(quoteURL)
        tt=str(getres.decode('utf8')[4:-3]).split(",")
        print(tt)

        item["id"]=tt[0]
        item['name'] = tt[3]
        # 最新
        item['latest'] = tt[4]
        # 涨跌
        item['zhangdie'] = tt[5]
        # 涨幅
        item['zhangfu'] = tt[6]
        # 成交量
        item['chengjiaoliang'] = tt[8]
        # 成交额
        item['chengjiaoe'] = tt[9]
        # 流通市值
        item['shizhi'] = tt[13]
        # 换手
        item['huanshou'] = tt[10]
        # 振幅
        item['zhenfu'] = tt[12]
        # 市盈
        item['shiying'] = tt[11]
        yield item

    def send(self,url):
        req = request.Request(url=url, headers=self.headers)
        res = request.urlopen(req)
        res = res.read()
        return res
        # 输出内容(python3默认获取到的是16进制'bytes'类型数据 Unicode编码，如果如需可读输出则需decode解码成对应编码):b'\xe7\x99\xbb\xe5\xbd\x95\xe6\x88\x90\xe5\x8a\x9f'
        print(res.decode(encoding='utf-8'))
        # 输出内容:登录成功

基本要写的代码如上，其他都是默认配置就好了，如果有需要可以再进行修改

对了，记得修改header和cookie

CoderSan
关注
  • 3
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫股票评论，snowNLP简单分析股民用户情绪（草稿）
SeaIsGod的博客
06-04 1万+
一、背景     股民是网络用户的一大群体，他们的网络情绪在一定程度上反映了该股票的情况，也反映了股市市场的波动情况。作为一只时间充裕的研究僧，我课余时间准备写个小代码get以下股民的评论数据，分析以下用户情绪的走势。这个博客还会修改，因为结果不准确，哈哈！ 二、数据来源     本次项目不用于商用，数据来源于东方财富网，由于物理条件，我只获取了一只股票的部分评论，没有爬取官方的帖子，都是获
[JS]东方财富网财经数据汇总代码示例
wangxsh42的专栏
01-29 4840
把握全球金融状况 一个页面看全球金融，感觉不错 再加上以前做的，读取显示 新浪7*24财经直播数据页面 那看得就更舒服了 下面是 新浪7*24财经直播数据 代码地址： http://www.cnblogs.com/wangxinsheng/articles/4251228.html 效果图： 展开前 展开后 新浪7*24财经直播数据：在线Demo
dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息
04-27
东方财富网个股研报信息爬虫说明文档 介绍 东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7 依赖包 Requests Pymongo Selenium 3.11.0 Faker(随机切换User-Agent) 爬取结果 在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中，再导出为Excle文件。部分数据如下截图:
使用Python的Scrapy框架编写web爬虫的简单示例
12-24
在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。 我们将会用开放目录项目(dmoz)作为我们例子去抓取。 这个教材将会带你走过下面这几个方面:     创造一个新的Scrapy项目     定义您将提取的Item     编写一个蜘蛛去抓取网站并提取Items。     编写一个Item Pipeline用来存储提出出来的Items Scrapy由Python写成。假如你刚刚接触Python这门语言,你可能想要了解这门语言起,怎么最好的利用这门语言。假如你已经熟悉其它类似的语言,想要快速地学习Python,我们推荐这种深入方式学习Pyth
Python爬取东方财富公司公告
03-12
Python爬取东方财富公司公告，使用Selenium，等待Ajax加载和实现自动翻页，
零基础写python爬虫之使用Scrapy框架编写爬虫
12-23
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。 首先先要回答一个问题。 问：把网站装进爬虫里，总共分几步？ 答案很简单，四步： 新建项目 (Project)：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipelin
Scrapy框架的使用之Scrapy通用爬虫
01-27
通过Scrapy，我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大，比如爬取各大媒体的新闻信息，多个Spider则可能包含很多重复代码。如果我们将各个站点的Spider的公共部分保留下来，不同的部分提取出来作为单独的配置，如爬取规则、页面解析方式等抽离出来做成一个配置文件，那么我们在新增一个爬虫的时候，只需要实现这些网站的爬取规则和提取规则即可。本节我们就来探究一下Scrapy通用爬虫的实现方法。在实现通用爬虫之前，我们需要先了解一下CrawlSpider，其官方文档链接为：http://scrapy.readthedocs.
Python分别实现基于Request库和Scrapy框架对东方财富股票的爬取
QY'UniverseSpace的博客
02-24 994
本文将讲述Request库和Scrapy框架实现网页的爬取 一、首先我们来认识一下Request库和Scrapy框架 Request库：Request库是Python公认的优秀的第三方网络爬虫库，能够实现自动爬取HTML页面，自动网络请求提交。 Scrapy框架：功能强大，爬取快速的爬虫框架 二、Request库和Scrapy框架的对比：Request VS Scrapy 2.1 相同点 两者都可以进行页面请求和爬取，Python爬虫的两个主要技术路线 两者可用性都好，文档丰富，入门简单 两者
手把手教你爬取东方财富网个股财经资讯
weixin_47179719的博客
05-27 5501
利用python爬取东方财富网财经资讯业务需求网页分析网页内容获取保存到本地 业务需求 需要爬取给定个股资讯，如给定个股：000998 隆平高科。当然你的标的也可以是一篮子股票。 网页分析 进入东方财富网首页，在搜索框栏点击 进股吧 ，然后再搜索框输入标的代码，点击相关股吧，如下图所示： 进入相应标的股吧后，点击 资讯，如下图所示： 然后开始分析网址规律： 000998的第一页网址： http://guba.eastmoney.com/list,000998,1,f.html 第二页网址为： http
Python爬取东方财富网任意股票任意时间段的Ajax动态加载股票数据
weixin_58732037的博客
12-02 6057
可以发现，源码中并没有我们想要的股票数据，但是再网页中又有我们想要的收盘价等数据，说明这很可能数据是Ajax动态加载出来的，一般而言数据会存储再一个json文件之中。点击进去可以发现里面都有大量的数据，这些数据也是网页所显示的数据来源，根据不同的数据需求，选择某一个url进行数据提取，接下来的数据提取以第二个URL为例，即。最近由于需求想爬取以下东方财富网的股票数据，但是发现没有想象那么简单，接下来我会讲述一下我遇到的问题以及是如何解决，最后成功的爬出了想要的数据。，再选择右边弹出来的。
quotecodequote:quotecodequote是一种使伪代码具有功能的编程语言
03-11
quotecodequote quotecodequote是一种使伪代码具有功能的编程语言 介绍 您是否曾经浏览过Bogosort的Wikipedia文章，却无法以您选择的语言实现伪代码？ 别无所求，因为quotecodequote是适合您的语言！ quotecodequote本质上是详尽的，乍一看意味着易于阅读，并且所有人都可以使用。 特征 动态类型的可变项 行尾没有分号 .qcq文件扩展 简单的变量分配 易于阅读和理解 例子 Javascript quotecodequote 运营商 x = 5 x is 5 (for assignment) x + 5
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储
07-29
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储，很有参考借鉴意义
使用Python Scrapy框架编写第一个web爬虫
05-09
Scrapy是当今世界上最为强大的Python爬虫框架之一，通过Scrapy，开发者可以快速构建高效实用的爬虫，本章将带领大家学习使用Scrapy爬虫框架，编写属于自己的第一个网络爬虫。
东方财富网python 爬虫
11-26
从百度股票爬取个股信息，将结果存储到文件中。 (1) 从东方财富网http://quote.eastmoney.com/stocklist.html抓取所有的股票代码。 (2)分 析 百 度 股 票 中 个 股 的 网 址 构 成 为 ：https://gupiao.baidu.com/stock/股票代码，将第一步获取的股票代码构建为个股的网址，抓取个股的交易数据。 (3) 将各个股票的信息存储至文件中
randoop自动生成测试用例
CoderSan的博客
12-11 8337
首先，去github上下载randoop.jar包到本地目录上。 此处我选择的是randoop-all-4.1.0.jar，将其安装到了 这个目录是任意的 然后去配置系统环境变量 在Path里面添加randoop-all-4.1.0.jar的路径C:\worktools\randoop-4.1.0\randoop-all-4.1.0.jar 然后再添加两个系统变量 在这...
visual studio code 如何设置换行
CoderSan的博客
01-17 4334
File  -&gt; Preference -&gt; Setting -&gt; editor.wordWrap
操作系统 设备基本概念和分类
CoderSan的博客
08-30 3177
I/O设备基本概念和分类 什么是I/O设备 按使用特性分类 按传输速率分类 按信息交换的单位分类 I/O设备 I/O就是输入和输出（Input / Output） I/O设备就是可以将数据输入到计算机，或者可以接受计算机输出数据的外部设备，属于计算机中的硬件设备。 输入型设备：鼠标键盘 输出型设备：显示器，音响 输入输出型设备：硬盘 分类 按使用特性分类 人机交...
自然语言处理 典型场景分析
CoderSan的博客
05-23 2766
情感分析 又称倾向性分析，意见抽取，情感挖掘。是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 主要流程： 输入数据 -> tokenization -> stop word filtering -> NegationHanding -> stemming -> classification -> sentimentcl...
东方财富网 爬取 python
最新发布
05-13
东方财富网是国内比较知名的财经网站，包含了大量的经济、股票等金融信息。如果我们想要在这个网站上获取特定的信息，例如某只股票的实时数据或者是新闻公告，我们可以使用Python语言中的爬虫技术进行数据抓取和处理。 Python是一种功能强大而简单易学的编程语言，可以用来编写各种类型的爬虫程序。具体而言，在东方财富网进行爬取的话，我们可以使用Python中的第三方库，如Requests、BeautifulSoup或Scrapy来实现网站信息的自动化获取。 首先，我们可以通过Requests库来向东方财富网发送HTTP请求，获取到网站的HTML源代码。随后，我们可以使用BeautifulSoup或Scrapy这样的爬虫框架，对网站上的各种信息进行解析和提取，并将数据存入本地数据库或在页面上直接显示。 例如，如果我们想要获取某只股票的实时数据，我们可以使用网站提供的查询框架，向目标URL发送请求，获取到HTML源码后，通过正则表达式等手段解析得到我们需要的信息。在将解析出的数据进行格式化处理之后，我们可以将其保存到本地数据库或者以API接口的形式展示在页面上。 总的来说，使用Python实现东方财富网的爬取不仅可以方便地提取网站上的金融数据，同时还可以节省时间和精力，提高数据的利用价值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值