【python爬虫学习笔记】07 股票数据定向爬虫实例

ccszbd

于 2018-12-13 21:22:11 发布

阅读量421

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_42864175/article/details/84995256

版权

本文记录了使用Python爬虫从上交所和深交所获取股票名称及交易信息的过程，介绍了功能需求、候选数据网站的选择标准以及程序的结构设计，采用requests和BeautifulSoup库实现数据抓取。

摘要由CSDN通过智能技术生成

功能描述

目标:获取上交所和深交所所有股票的名称和交易信息
输出:保存到文件中
技术路线：requests-bs4-re

候选数据网站的选择

新浪股票:http://finance.sina.com.cn/stock/
百度股票:http://gupiao.baidu.com/stock/
东方财富网:http://quote.eastmoney.com/stocklist.html

选取原则:
股票信息静态存在于HTML页面中，非js代码生成，没有Robots协议限制
选取方法:
浏览器F12，源代码查看等

程序的结构设计

import requests
from bs4 import BeautifulSoup
import traceback
import re

def getHTMLText(url,code = 'utf-8'):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = code
        return r.text
    except:
        return ""