- 博客(4)
- 收藏
- 关注
RSS订阅原创 爬取大众点评店铺信息和评论内容
• 部分数据是 JavaScript 加载的，需要用 Selenium 或解析 Ajax 请求。https://www.dianping.com/search/keyword/2/0_火锅。• 模拟鼠标滑动（Selenium + ActionChains）• Selenium 登录后存储 Cookie。• 需要带上 Cookie 才能获取数据。• 可以通过正则提取 JSON 数据。• 评论数据可能加密，需要逆向分析。• 店铺 ID (shopId)• 手动登录获取 Cookie。
2025-03-19 17:36:55
1436
2
原创 Shopee爬虫 虾皮爬取商品评价
通常，评论数据会通过一个类似于 GET /product/{shop_id}/{item_id}/reviews 的接口返回。• 过滤出所有的网络请求，查看加载评论时，是否有对应的API请求，例如 GET /product/{shop_id}/{item_id}/reviews。通过分析API接口的请求方式，可以构造HTTP请求并获取评论数据。• 随机User-Agent：随机化请求头中的User-Agent，模拟多样的设备和浏览器。• 请求间隔：设置合理的请求间隔，模拟人的浏览行为，避免频繁访问。
2025-03-12 15:31:28
1338
原创 Shopee 虾皮爬取商品详情
• Item ID：如果你已经知道商品的 ID，你可以使用 Get Item Details 接口来获取该商品的详细信息。注册后，你会获得 API Key 和 Shop ID，这两个是访问 Shopee API 的必要条件。• API Key：你在 Shopee 开发者平台获得的 API 密钥。• Shop ID：你的店铺 ID，用于指定你要抓取的店铺。• item_id：你想查询的商品 ID。• api_key：你的 API 密钥。• shop_id：你的店铺 ID。• timestamp：当前时间戳。
2025-03-10 20:34:48
644
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人