爬虫学习
神出鬼没,指的就是我!
akshare如果遇到无法运行,可以私聊我。然后有些是开发把接口改了。自己找材料改下。
展开
-
寻找最热板块
使用爬虫,获取数据分析所有板块数据,并对板块涨幅,成交额最大进行分析。原创 2023-06-11 15:34:43 · 181 阅读 · 0 评论 -
多线程数据下载(akshare)
import akshare as akimport pandas as pdfrom multiprocessing.dummy import Pool as ThreadPoolimport datetimeimport timedef get_hs300_stock_codes(): ''' 获取沪深300股票代码列表 :return: ''' hs300=ak.index_stock_cons_sina("000300") codes=.原创 2022-02-08 00:48:45 · 1570 阅读 · 1 评论 -
爬虫获取期货数据
from urllib import requestimport jsonimport pandas as pddef get_data(id): url_1d = 'http://stock2.finance.sina.com.cn/futures/api/json.php/IndexService.getInnerFuturesDailyKLine?symbol=' url = url_1d + id req = request.Request(url) rs.原创 2021-11-13 13:57:11 · 2003 阅读 · 2 评论 -
股票数据库建立
import akshare as akimport baostock as bsimport pandas as pdimport datetimebs.login()stk_list_place = 'D:/stk_list.csv' #股票代码表存储地址stk_place = 'D:/Data/' #股票数据存储地址def update_stk_list(date=None): #获取指定日期的指数、股票数据 stock_rs = bs.query_all_...原创 2021-07-29 12:58:01 · 1278 阅读 · 0 评论 -
爬虫——————爬取中金所,深交所,上交所期权数据
先从深交所开始:直接上传源码:from bs4 import BeautifulSoupfrom lxml import etreeimport pandas as pdimport akshare as akimport datetimeimport requestsimport csvfrom contextlib import closingimport timefrom urllib.request import urlopenimport requestsfrom urll原创 2020-12-11 17:17:20 · 3251 阅读 · 3 评论 -
贴吧爬虫
import requestsimport re#根据url获取网页html内容def getHtmlContent(url): page = requests.get(url) return page.texthtml = getHtmlContent('https://tieba.baidu.com/p/4840106397')#以html中使用re模块解析出所有jpg图片的url#百度贴吧html中jpg图片的url格式:<img...src="xxx..原创 2020-11-20 01:21:17 · 904 阅读 · 0 评论