CorGi_8456的博客

数据可视化是数据分析的重要任务之一。之前有获取到亚马逊销售飙升榜的数据，但是排名只是按列表顺序排序，销售排名上升的幅度只有数字的变化，体现的不是很直观。所以使用python的实现对数据的可视化，能直观的看出来数据的对比和变化。............

今天还是亚马逊。突然发现亚马逊深挖还是有很多东西可以水的。在英语语境里指的是。但是在亚马逊商城中，这个榜单就是过去的24小时中销量最高的产品榜单，而且每小时更新。我称之为是亚马逊的销售势力排行。从这个排行榜中的数据，能分析什么商品时下最热门，甚至能找到一点点未来市场走向的蛛丝马迹。（我瞎编的）虽然不是市场从业人员，但是把这些数据收集起来，做一个数据分析，还是有一点点必要的。...............

这次又来折腾亚马逊了。之前有介绍亚马逊的商品获取和评论获取。但是在批量获取和多次访问的情况下出现了需要验证码的情况当然，出现这种情况你是肯定获取不到数据的。但是，你离你想要的数据，真的很近了。所以本次的目的就是绕过这个验证码，获取验证码背后的数据。...

今天上班摸鱼的时候发现了一个比较新鲜的网站，日本的大众点评：食べログ左边呢是各个店家的基本信息，右边也集成了地图 。 反正疫情也出不去，这个网站的地图卫星图像也能云旅游，而左边的这些店铺的数据呢，就可以拿下来给未来做做旅游攻略了。一、网站分析进入首页，可以看到各个地区的分类，而下面是按食品的分类，人数等等。这次就按地区来获取数据。随便进入一个地区，点开地区排行榜，就进入列表页了，点击列表就...

好久没有更新了。最近看了下数据好像电商平台的文章点击量还是蛮高的，那我就投其所好，水一篇Ebay的数据获取！ebay的超值特惠价是分好几个板块的，这里我就直接用智能手机这一分区做一个演示。其实它的每一个板块都是用class为ebayui-dne-item-pattern-card的div组成的，每一个最后都有一个选购全部的链接，倒是后有需求的朋友可以自行for循环即可。一、请求分析 点击智能手机分区的选购全部。...

在Amazon，Aliexpress之后，又一个海外电商出现在我的视野里——shopee，在东南亚很火的电商平台。​这战略布局都到南美跟欧洲了这网站有意思的是啊，每个国家的商品虽然大同小异，但是也能凸显各个国家的风格的，比如印度的shopee，一股阿三的气息。​对味儿了一、请求分析： 地址：https://xxxxxx.tw/daily_discover?pageNumber=1，这次就以台湾站为例。 ...

1.首先获取亚马逊列表页的信息以视频游戏区为例：获取列表内能获取到的商品信息，如商品名，详情链接，进一步获取其他内容。用requests.get()获取网页内容，xpath选取相关标签的内容：import requestsfrom parsel import Selectorfrom urllib.parse import urljoinspiderurl = 'https://www.amazon.com/s?i=videogames-intl-ship'headers =

AliExpress全球速卖通，又称国际版淘宝，是一款面向海外的购物网站。之前有获取过Amazon的信息，偶然间发现了这个网站，所以今天看看这个国际版淘宝上面有没有我想要的东西。不知道这上面能不能买到原价的XboxSerisX网站分析为了找到上面有没有原价的Xbox，首先在首页，搜一下PS5 ，再查看一下请求：嗯，很直白的get请求，所有的参数链接上都写得清清楚楚。下面尝试一下翻页。 点击下一...

上次亚马逊的商品信息都获取到了，自然要看一下评论的部分。用户的评论能直观的反映当前商品值不值得购买，亚马逊的评分信息也能获取到做一个评分的权重。亚马逊的评论区由用户ID，评分及评论标题，地区时间，评论正文这几个部分组成，本次获取的内容就是这些。测试链接：https://www.amazon.it/product-reviews/B08GHGTGQ2/ref=cm_cr_arp_d_paging_btm_14?ie=UTF8&pageNumber=14&a...

T网站的信息获取。

又来折腾亚马逊了......从最近的几次爬取亚马逊的情况来看，数据获取难度还算是一般，恶心的就在数据处理方面，一堆的JS，HTML等等罗列在一起。不怎么费脑子，但是费眼。正文开始。一、请求分析特惠信息页面：/gp/goldbox 照例，打开开发者模式，清除cookie，然后再次请求：就直接查看这个当前页的请求，预览的时候发现并没有数据：为了避嫌该打码的地方都打了，...