互联网金融爬虫怎么写-第四课 雪球网股票爬虫(单页面多数据)

 

 Previous on  系列教程:

互联网金融爬虫怎么写-第一课 p2p网贷爬虫(XPath入门)

互联网金融爬虫怎么写-第二课 雪球网股票爬虫(正则表达式入门)

互联网金融爬虫怎么写-第三课 雪球网股票爬虫(ajax分析)

 

哈哈,我又来了,话说出教程就是这么任性,咱们乘热打铁,把上节课分析完成但是没写的代码给完成了!

工具要求与基础知识:

工具要求:

教程中主要使用到了 1、神箭手云爬虫 框架  这个是爬虫的基础,2、Chrome浏览器和Chrome的插件XpathHelper 这个用来测试Xpath写的是否正确 3、Advanced REST Client用来模拟提交请求

 

础知识:

本教程中主要用到了一些基础的js和xpath语法,如果对这两种语言不熟悉,可以提前先学习下,都很简单。

三步走

 

还记得我们在遥远的电商系列爬虫教程的第一课里提到具体写爬虫的几个步骤吗?我们沿着路径再来走一遍:

 

第一步:确定入口URL

暂且使用这个第一页的ajax的url链接:

http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12

 

第二步:区分内容页和中间页

这次大家有点犯难了,虽然说每一个股票都有一个单独的页面,但是列表页的信息已经蛮多的了,光爬取列表页信息就已经够了,那怎么区分内容页和中间页呢?其实我们只需要将内容页和中间页的正则设置成一样的既可。如下:

http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12

在提醒大家一下,这里之所以转义符用了两个是因为在神箭手中,设置正则时,是字符串设置,需要对转义符再做一次转义。

 

第三步:内容页抽取规则

由于ajax返回的是json,而神箭手是支持jsonpath的提取方式的,因此提取规则就很简单了。不过这里要特殊注意的是,由于我们是在列表页抽取数据,因此数据最顶层相当于是一个列表,我们需要在顶层的field上设置一个列表数据的值。具体抽取规则如下:

fields: [

{

name:"stocks",

selector:"$.stocks",

selectorType:SelectorType.JsonPath,

repeated:true,

children:[

{

name:"code",

alias:"代码",

selector:"$.code",

selectorType:SelectorType.JsonPath,

},

{

name:"name",

alias:"名称",

selector:"$.name",

selectorType:SelectorType.JsonPath,

},

{

name:"current",

alias:"当前价格",

selector:"$.current",

selectorType:SelectorType.JsonPath,

},

{

name:"high",

alias:"最高价格",

selector:"$.high",

selectorType:SelectorType.JsonPath,

},

{

name:"low",

alias:"最低价格",

selector:"$.low",

selectorType:SelectorType.JsonPath,

}

]

}

]

 

我简单抽取了一些信息,其他信息都类似。

好了,主要的代码基本已经写好了,剩下的还需要解决两个问题

1.爬取前需要先访问一下首页获取cookie

2.虽然可以直接加入下一页,但是一共有多少页并不知道。

 

首先对于第一点,我们只需要在beforeCrawl回调中访问一下首页即可,神箭手会自动对cookie进行处理和保存,具体代码如下:

configs.beforeCrawl =function(site){

    site.requestUrl("http://xueqiu.com");

};

 

好了,除了下一页基本已经没什么问题了,我们先测试一下看看效果:


 

数据已经出来了,没问题,第一页的数据都有了,那下一页怎么处理呢?我们有两个方案:

第一个方案:

我们可以看到json的返回值中有一个count字段,这个字段目测应该是总数据量的值,那没我们根据这个值,再加上单页数据条数,我们就可以判断总共有多少页了。

第二个方案:

我们先访问一下,假设页数很大,看看会雪球会返回什么,我们尝试访问第500页,可以看到返回值中的stocks是0个,那么我们可以根据是否有数据来判断需不需要加下一页。

 

两个方案各有利弊,我们这里选择用第一个方案来处理,具体代码如下:

configs.onProcessHelperPage =function(page, content, site){

if(page.url.indexOf("page=1&size=30") !== -1){

//如果是第一页

varresult = JSON.parse(page.raw);

varcount = result.count.count;

varpage_num = Math.ceil(count/30);

if(page_num > 1){

for(vari = 2;i<=page_num;i++){

site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");

}

}

}

};

 

好了,通过三课的艰苦奋战,终于完成了雪球沪深一览的征服。先看下跑出来的效果。


 

完整代码如下:

varconfigs = {

domains: ["xueqiu.com"],

scanUrls: ["http://xueqiu.com/stock/cata/stocklist.json?page=1&size=30&order=desc&orderby=percent&type=11%2C12"],

contentUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],

helperUrlRegexes: ["http://xueqiu.com/stock/cata/stocklist\\.json\\?page=\\d+&size=30&order=desc&orderby=percent&type=11%2C12"],

fields: [

{

name:"stocks",

selector:"$.stocks",

selectorType:SelectorType.JsonPath,

repeated:true,

children:[

{

name:"code",

alias:"代码",

selector:"$.code",

selectorType:SelectorType.JsonPath,

},

{

name:"name",

alias:"名称",

selector:"$.name",

selectorType:SelectorType.JsonPath,

},

{

name:"current",

alias:"当前价格",

selector:"$.current",

selectorType:SelectorType.JsonPath,

},

{

name:"high",

alias:"最高价格",

selector:"$.high",

selectorType:SelectorType.JsonPath,

},

{

name:"low",

alias:"最低价格",

selector:"$.low",

selectorType:SelectorType.JsonPath,

}

]

}

]

};

configs.onProcessHelperPage =function(page, content, site){

if(page.url.indexOf("page=1&size=30") !== -1){

//如果是第一页

varresult = JSON.parse(page.raw);

varcount = result.count.count;

varpage_num = Math.ceil(count/30);

if(page_num > 1){

for(vari = 2;i<=page_num;i++){

site.addUrl("http://xueqiu.com/stock/cata/stocklist.json?page="+i+"&size=30&order=desc&orderby=percent&type=11%2C12");

}

}

}

};

configs.beforeCrawl =function(site){

site.requestUrl("http://xueqiu.com");

};

varcrawler =newCrawler(configs);

crawler.start();

这样我们的雪球网股票爬虫就算大功告成,当然我们还可以把type的设置模板化。不过这个是一些高级的方法,我们会在后面的课程中再去详细描述

最后,对爬虫感兴趣的童鞋欢迎加企鹅群跟我讨论:566855261。

 
感谢您的提问。我理解您想了解如何用 Python 爬虫爬取球网金融数据。下面是一个简爬虫项目,可以帮助您实现这个目标: 1. 确定爬取的目标网页 我们需要确定要爬取的目标网页。在本例中,我们将使用球网金融数据页面:https://xueqiu.com/hq。 2. 使用 requests 库发送 HTTP 请求 我们可以使用 Python 的 requests 库来发送 HTTP 请求并从目标网页获取数据。以下是如何发送 GET 请求的示例代码: ```python import requests url = 'https://xueqiu.com/hq' response = requests.get(url) print(response.text) ``` 3. 解析 HTML 页面 我们可以使用 Python 的 Beautiful Soup 库来解析 HTML 页面。以下是如何使用 Beautiful Soup 库解析响应的 HTML 页面的示例代码: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') # 打印解析后的 HTML 页面 print(soup.prettify()) ``` 4. 提取数据 一旦我们成功解析了 HTML 页面,就可以使用 Beautiful Soup 库中的一些方法来提取我们需要的数据。以下是如何从 HTML 页面中提取股票代码和股票名称的示例代码: ```python # 找到包含股票代码和名称的表格 table = soup.find('table', {'class': 'table'}) # 找到所有的行 rows = table.find_all('tr') # 遍历每一行,并提取股票代码和名称 for row in rows: cols = row.find_all('td') if len(cols) > 0: code = cols[0].text.strip() name = cols[1].text.strip() print(code, name) ``` 5. 存储数据 最后,我们可以将提取的数据存储到文件中。以下是如何将股票代码和名称存储到 CSV 文件中的示例代码: ```python import csv with open('stocks.csv', 'w', newline='') as csvfile: writer = csv.writer(csvfile) writer.writerow(['Code', 'Name']) for row in rows: cols = row.find_all('td') if len(cols) > 0: code = cols[0].text.strip() name = cols[1].text.strip() writer.writerow([code, name]) ``` 希望这个爬虫项目可以帮助您了解如何用 Python 爬虫爬取球网金融数据。如果您还有其他问题,请随时问我。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值