Gecco学习笔记（十三）

最新推荐文章于 2022-09-20 13:26:38 发布

软工7班姜彪

最新推荐文章于 2022-09-20 13:26:38 发布

阅读量242

点赞数

文章标签： java 爬虫

本文链接：https://blog.csdn.net/j000818/article/details/121761225

版权

本文是Gecco学习笔记的第十三部分，主要讲解如何使用Gecco框架抓取商品详情页的信息。内容包括：通过@RequestParameter获取URL参数，@Ajax处理异步AJAX请求，以及@JSONPath抽取JSON数据来获取商品价格。同时提到了Gecco支持全局JavaScript变量的提取和分布式抓取功能。

摘要由CSDN通过智能技术生成

2021SC@SDUSC

接上篇

商品的基本信息抓取完成后，就要针对每个商品的详情页进行抓取，可以看到详情页的地址格式一般如下：http://item.jd.com/1861098.html。我们建立商品详情页的Bean：

@Gecco(matchUrl="http://item.jd.com/{code}.html", pipelines="consolePipeline")
public class ProductDetail implements HtmlBean {

	private static final long serialVersionUID = -377053120283382723L;

	/**
	 * 商品代码
	 */
	@RequestParameter
	private String code;
	
	/**
	 * 标题
	 */
	@Text
	@HtmlField(cssPath="#name > h1")
	private String title;
	
	/**
	 * ajax获取商品价格
	 */
	@Ajax(url="http://p.3.cn/prices/get?skuIds=J_[code]")
	private JDPrice price;

	/