三、网络爬虫之实战（3）

最新推荐文章于 2024-07-23 16:23:28 发布

HolllllldOn

最新推荐文章于 2024-07-23 16:23:28 发布

阅读量216

点赞数

分类专栏：爬虫笔记（MOOC Python网络爬虫与信息提取）文章标签： python

本文链接：https://blog.csdn.net/HolllllldOn/article/details/107400537

版权

爬虫笔记（MOOC Python网络爬虫与信息提取）专栏收录该内容

11 篇文章 0 订阅

订阅专栏

股票数据定向爬虫

1.实例介绍

功能描述

目标：获取上交所和深交所所有股票的名称和交易信息
输出：保存到文件中
技术路线：requests‐bs4‐re

数据网站的选择

新浪股票：http://finance.sina.com.cn/stock/
百度股票：https://gupiao.baidu.com/stock/
选取原则：股票信息静态存在于HTML页面中，非js代码生成
没有Robots协议限制
选取方法：浏览器 F12，源代码查看等
选取心态：不要纠结于某个网站，多找信息源尝试

数据网站的确定

获取股票列表：
东方财富网：http://quote.eastmoney.com/stocklist.html
获取个股信息：
百度股票：https://gupiao.baidu.com/stock/
单个股票：https://gupiao.baidu.com/stock/sz002439.html

程序结构设计

步骤1：从东方财富网获取股票列表
步骤2：根据股票列表逐个到百度股票获取个股信息
步骤3：将结果存储到文件

2.实例编写

百度股票网站关了
所以用selenium实现爬取js数据

import bs4
from bs4 import BeautifulSoup
from selenium import  webdriver


def getHTMLText(url):
    try:
        driver = webdriver.Chrome()
        driver.maximize_window()
        driver.get(url)
        return driver.page_source
    except Exception as e:
        print(e)

def getStock(lst,url,fpath):
    html = getHTMLText(url)
    soup = BeautifulSoup(html,'html.parser')
    stoctinfo={}
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            stoctinfo['序号'] = tds[0].string
            stoctinfo['股票代码'] = tds[1].string
            stoctinfo['股票名称'] = tds[2].string
            stoctinfo['最新成交价'] = tds[4].string
            lst.append(stoctinfo)
            with open(fpath, 'a', encoding='utf-8') as f:
                f.write(str(stoctinfo) + '\n')

def main():
    stock_list_url = 'http://quote.eastmoney.com/center/gridlist.html'
    lst = []
    output_file = 'D://Stockinfo.txt'
    getStock(lst,stock_list_url,output_file)
    print(lst)
    # stock_info_url ='http://quote.eastmoney.com/{}.html'

    # slist = []
    # getStockList(slist,stock_list_url)
    # getStockInfo(slist,stock_info_url,output_file)

main()