凤凰网股票数据定向爬虫——改编自北京理工大学嵩天老师的课程实例

前言

最近看到嵩天老师**《python网络爬虫与信息提取》的股票数据定向爬虫实例课**，但是课程给出的两个数据网站——百度股票和东方财富，一个没了、一个源代码改为JS了，只能找替代的数据源——凤凰财经网。该网站股票信息很齐全，股票列表和个股信息都整合在一个网页上，所以我选择了这个网站作为数据源，并采用类似<中国大学排名定向爬虫>的方法来爬取，也能获得同样效果。感觉也许会有很多人跟我一样遇到这样的情况，所以就决定写一篇博客，希望可以帮到有需要的人~

（我在写这个程序的时候也遇到了很多问题，感恩网上各位愿意分享自己经验的高人们，爱你们~~）

功能描述

目标：获得凤凰网沪市A股的股票信息
输出：存储到文件

技术路线

技术路线：requests + bs4 + re 库

数据网站

凤凰财经网：
http://app.finance.ifeng.com/list/stock.php?t=ha

程序结构设计

1. 从凤凰财经网获得股票列表及相关信息
2. 存储到自定义的列表中
3. 将结果存储到文件中

以上步骤分别对应函数：

1. getHTMLText( )
2. fillStocklist( )
3. printStocklist( )

实现过程

1. 引入需要的库

import requests
from bs4 import BeautifulSoup 
import re
import bs4 # 一定不能忘！否则会报错！
import sys # 将结果存储到文件中需要引入此库

2. 爬取凤凰财经的信息内容，这里需要使用到通用代码框架，可以直接用

def getHTMLText(url): # 获取网页信息的通用代码框架
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

3. 将信息存储到自定义列表中
   
   查看源代码，可见股票信息都存在< table >标签下的< tr>中，< tr>中的< td >又对应着某个个股的股票代码、股票名称、最新价等信息，这里我只获取了前5列的信息，见下。如果想要获取其他列的信息，只需增加对应ulist.append中的tds[?].text即可。

def fillStocklist(ulist, html): # 将获得的信息存入自定义的列表中
    soup = BeautifulSoup(html, 'html.parser') # 解析网页
    for tr in soup.find('table').children: # 对<table>中的<tr>做遍历
        try:
            tds = tr('td') # 对<tr>中的<td>做遍历