python爬取所有股票报道

原创 2018年04月16日 14:13:13

前言

由于毕设是要对股票的新闻报道进行情感分析,所以爬取所有股票的个股资是必要的前提工作了。一开始准备直接在
[东方财富网](http://quote.eastmoney.com/stocklist.html)上爬取所有的个股资讯,但是在获得个股资讯列表的时候要模拟事件。

前提工作  

1. 安装python3

([下载地址](https://www.python.org/downloads/)),在安装的时候选择添加到环境变量,如果没有选择,可以通过【右键我的电脑】->【属性】->【高级系统设置】->【环境变量】->【path】将安装的Python3的路径添加到path中。

2. 通过命令行安装requests库:

>pip install requests


3.安装 lxml

>pip install lxml


4.安装pyquery

>pip install pyquery
使用详情见[静觅](https://cuiqingcai.com/) » [Python爬虫利器六之PyQuery的用法](https://cuiqingcai.com/2636.html)


5.安装pymysql

前提是先安装好mysql,然后同样采用
>pip install pymysql


爬取数据

1. 爬取所有股票代码

url为东方财富网的股票代码查询一览表(http://quote.eastmoney.com/stocklist.html)。这是一个静态的网页,爬取比较简单.

分析网页的结果,由图片可知,股票代码为target为_blank的a标签的文本括号中的文字,股票名称为括号前的文字。因此对获得的text利用split函数进行处理得到股票代码和股票名称。


    
def getCodes():
      codes=[]
      url='http://quote.eastmoney.com/stocklist.html'
      req =requests.get(url,timeout=30)
      reporthtml=req.text
      html = pq(reporthtml)
      #print(html)
      stock_a_list = html("#quotesearch ul li a[target='_blank']").items()
      for stock_a in stock_a_list:
          num = stock_a.text().split('(')[1].strip(')')
          if  (num.startswith('1') or num.startswith('5')or num.startswith('2')): continue  # 只需要6*/0*/3*/2*开头的股票
          sname = stock_a.text().split('(')[0]
          record = {}#用于存储个股的代码,和名称
          #进行转码
          sname = sname.encode("iso-8859-1").decode('gbk').encode('utf-8')
          result = str(sname, encoding='utf-8')
          print(result)
          record["sname"]=result
          record["num"]=num;
          codes.append(record)
          return codes


2. 爬取所有股票代码

得到股票代码知乎就需要获取个股的详情页,这个我们通过新浪财经获取比较简单。

*  分析地址

 


分析多个个股的公司资讯的地址http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllNewsStock.php?symbol=sz000725&Page=3
可知**http://vip.stock.finance.sina.com.cn/corp/view/vCB_AllNewsStock.php?symbol=**+(sz或sh)+代码+&Page=+页码。其中当为深圳时为sz,上证时为sz。

* 分析网页&去除退市和未上市股票

通过requests和pyquery得到html代码之后,分析网页结构。首先去除未上市的股票和已退市的股票。
            

          
        
        
 isclose = report_list_wrap("#closed")
         f isclose=="已退市" or isclose=="未上市":
         flag=False;
         continue


*分析网页之报道结构


个股资讯为class=datelist的div中的所有a标签。通过获取a标签的href可以得到资讯报道链接,通过链接获取报道内容
                             
     
report_list=report_list_wrap("#con02-7 .datelist ul a").items()
      # **************************************遍历个股的资讯
      for r in report_list:
                    try:
                         #转码
                        report_title= r.text().encode("iso-8859-1").decode('gbk').encode('utf-8')
                        report_title = str(report_title, encoding='utf-8')


                        print("标题:"+report_title)
                        #获取报道链接并得到报道
                        report_url = r.attr("href")
                        req = requests.get(report_url, timeout=30)
                        reporthtml = req.text
                        reporthtml = pq(reporthtml)
                        content = reporthtml("#artibody").text()
                    except:
                        flag = False
                        print(code['num'] + report_title + "报错了")


* 分析网页之解决编码问题:

在通过上步解析得到报道内容会发现是乱码的,这是因为本身的编码为ISO-8859-1,不是我们默认的utf8,,由此解决办法如下:


                         
                       
##解决编码问题
                        #print(req.encoding)
                        if req.encoding == 'ISO-8859-1':
                            encodings = requests.utils.get_encodings_from_content(req.text)
                            if encodings:
                                encoding = encodings[0]
                            else:
                                encoding = req.apparent_encoding
                        reporthtml = req.content.decode(encoding, 'replace').encode('utf-8', 'replace')






小贴士:

utf8编码的文本可以用iso8859-1的编码表示,但是反过来不行。iso8859-1是单字节编码,而utf8是定长编码,从utf8转化成iso8859-1相当于是高精度转化成低精度,造成精度丢失,所以不可逆。根本原因是因为utf8中文,在iso8859-1没有匹配的位置。
参考:
https://blog.csdn.net/kelindame/article/details/75014485,
https://www.cnblogs.com/GUIDAO/p/6679574.html

插入数据库

最后就是将获得数据插入数据库了。


                   
sql = ("insert into stock(rid,scode,sname,rdate,rtitle,report,emotion) VALUES (%s,%s,%s,%s,%s,%s,%s) ")
                    data_report = (str(id), code['num'], code['sname'],rdate,report_title, content, '-2')
                    id = id + 1
                    try:
                        # 执行sql语句
                        cursor.execute(sql,data_report)
                        print(code['sname']+"插入成功")
                        # 提交到数据库执行
                        db.commit()
                    except Exception as e:
                        print('perhaps timeout:', e)
                        db.rollback()

好嘞,这样子就完成了我们的爬虫工作了

我是c6j,一个有仪式感的程序媛
 





Python爬虫---爬取股票信息

python 爬虫
  • Zach_z
  • Zach_z
  • 2018-02-11 01:47:53
  • 338

利用bs4和requests爬取股票历史交易数据

最近在学习优达学院的一门机器学习的课程,主要讲解利用机器学习分析股票数据,然后。课程网址在这里:https://classroom.udacity.com/courses/ud501 所以需要大量的...
  • qq_25936689
  • qq_25936689
  • 2016-11-18 15:56:41
  • 3513

python爬取股票数据

pip install tushare,爬取银行股票数据对数据进行初步进行整理,用今日的收盘减去昨天的收盘值定义value表示涨跌,并绘图直观表示最近的股票走势图。其实也可以直接根据pchange>0...
  • weixin_37450657
  • weixin_37450657
  • 2017-12-13 11:10:48
  • 276

python3.x爬虫学习:股票数据定向爬虫笔记

import requests from bs4 import BeautifulSoup import traceback import re def getHTMLtext(url, code=...
  • qq_28359387
  • qq_28359387
  • 2017-03-15 21:48:23
  • 2364

Python网络爬虫获取股票信息

Python网络爬虫获取股票信息,从东方财富网获取股票代码列表,根据获取的列表,从百度股票获取个股的信息,百度股票上显示个股信息的url的前缀是相同的,后缀是股票代码...
  • liuweiyuxiang
  • liuweiyuxiang
  • 2017-03-18 20:24:55
  • 4243

python爬取A股历史数据

  • 2018年02月06日 23:19
  • 1KB
  • 下载

用Scrapy爬取所有上市公司的股票代码和名称

用Scrapy抓取凤凰财经股票列表页面的股票代码和名称,其中一个技术难点在于如何爬取下一页...
  • H2OCaO
  • H2OCaO
  • 2015-02-20 01:19:02
  • 4579

python爬虫学习(股票数据爬取)

最近在学习python爬虫方面的知识,下面是做的一个简单爬虫示例。 从沪深A股中爬取股票列表中的数据到本地 用到的库:requests库,BeautifulSoup 爬取的链接为:http://...
  • yjpeng125
  • yjpeng125
  • 2017-03-19 21:55:15
  • 343

python爬虫学习 之 定向爬取 股票信息

一、功能描述 目标:获取上交所和深交所所有股票的名称和交易 信息 输出:保存到文件中技术路线:requests-bs4-re二、 选取原则:股票信息静态存在于HTML页面中,非js代码...
  • learn_is_happy
  • learn_is_happy
  • 2017-12-12 21:28:38
  • 588

python 爬虫爬取所有上市公司公告信息(三)

。,。数据源和爬取的方式我们已经确定,接下来我们构建数据的储存格式和进行爬取类的程序编写。 首先,为了方便调用,爬取的公告信息必须以对应的股票分类,这里我们使用股票的代码作为分类依据。一个股票代码文...
  • a980135330
  • a980135330
  • 2017-10-05 13:22:36
  • 706
收藏助手
不良信息举报
您举报文章:python爬取所有股票报道
举报原因:
原因补充:

(最多只允许输入30个字)