好久没有更新了。最近看了下数据好像电商平台的文章点击量还是蛮高的,那我就投其所好,水一篇Ebay的数据获取!
ebay的超值特惠价是分好几个板块的,这里我就直接用智能手机这一分区做一个演示。
其实它的每一个板块都是用class为ebayui-dne-item-pattern-card的div组成的,每一个最后都有一个选购全部的链接,倒是后有需求的朋友可以自行for循环即可。
一、请求分析
点击智能手机分区的选购全部。
跳转链接:https://www.ebay.com/globaldeals/tech/cell-phones
正常请求后发现他的第一页的数据都在:
但是,有一点细节,在点击显示更多内容之前,还是有滚动条加载数据的:
由此可见每一次的加载,页面都会输出24条数据,但是在数据到总数据量一般的时候,他会让你去手动加载。
找到规律后,开始请求。
二、首页数据请求
首先先请求第一页的数据,直接请求cell-phone链接:
数据很杂,处理很麻烦,我这里获取了商品名,详情链接,价格,上代码:
def get_info():
headers = {
'authority': 'www.ebay.com',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/ap