c#抓取亚马逊商品信息①获取商品详情页信息

最新推荐文章于 2022-10-16 21:08:51 发布
最新推荐文章于 2022-10-16 21:08:51 发布
阅读量935 收藏 1
点赞数
分类专栏： c# 爬虫 文章标签： c#抓取亚马逊商品详情页信息
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40994326/article/details/103496637
版权

获取分类排名

    List<Tuple<string, int>> sortRankingList = new List<Tuple<string, int>>();
    string asin = "";

    string url = "https://www.amazon.com/gp/product/" + asin;

    string strHTML = "";
    WebClient myWebClient = new WebClient();
    Stream myStream = myWebClient.OpenRead(url);
    StreamReader sr = new StreamReader(myStream, System.Text.Encoding.GetEncoding("utf-8"));
    strHTML = sr.ReadToEnd();
    myStream.Close();
    
    if (strHTML.IndexOf("Amazon Best Sellers Rank") != -1)
    {
        strHTML = strHTML.Substring(strHTML.IndexOf("Amazon Best Sellers Rank"));
        strHTML = strHTML.Substring(0, strHTML.IndexOf("</div>"));

        string newStrHtml = "";
        newStrHtml += "<!DOCTYPE html>" + System.Environment.NewLine;
        newStrHtml += "<html lang='en-us' class='a-no-js' data-19ax5a9jf='dingo'>" + System.Environment.NewLine;
        newStrHtml += "<head><title></title><meta charset='utf-8'/><meta http-equiv='x-dns-prefetch-control' content='on'><link rel='dns-prefetch' href='https://images-na.ssl-images-amazon.com'><link rel='dns-prefetch' href='https://m.media-amazon.com'><link rel='dns-prefetch' href='https://completion.amazon.com'><script type='text/javascript'>var ue_t0=ue_t0||+new Date();</script></head>" + System.Environment.NewLine;
        newStrHtml += "<body>" + System.Environment.NewLine;
        newStrHtml += "<ul><li>" + strHTML + "</ul>" + System.Environment.NewLine;
        newStrHtml += "</body></html>";

        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc.LoadHtml(newStrHtml);

        var nodes = doc.DocumentNode.SelectNodes(".//li");
        if (nodes != null)
        {
            for (int i = 0; i < nodes.Count; i++)
            {
                string sortName = "";
                int ranking = 0;

                if (i == 0)
                {
                    string nodeText = nodes[i].InnerText;
                    nodeText = nodeText.Substring(nodeText.IndexOf("#"));
                    nodeText = nodeText.Substring(0, nodeText.IndexOf("in"));
                    
                    sortName = nodes[i].SelectSingleNode(".//a[1]") != null ? nodes[i].SelectSingleNode(".//a[1]").InnerText : "";
                    sortName = sortName.Replace("See Top 100 in ", "");
                    ranking = int.Parse(nodeText.Replace("#", "").Replace(",", "").Trim());
                }
                else
                {
                    sortName = nodes[i].SelectSingleNode(".//a") != null ? nodes[i].SelectSingleNode(".//a").InnerText : "";
                    var rankStr = nodes[i].SelectSingleNode(".//span[1]") != null ? nodes[i].SelectSingleNode(".//span[1]").InnerText : "";
                    ranking = int.Parse(rankStr.Replace("#", "").Replace(",", "").Trim());
                }

                if (string.IsNullOrEmpty(sortName) == false)
                {
                    sortRankingList.Add(new Tuple<string, int>(sortName, ranking));
                }
            }
        }
    }
    else if (strHTML.IndexOf("Best Sellers Rank") != -1)
    {
        strHTML = strHTML.Substring(strHTML.IndexOf("Best Sellers Rank"));
        strHTML = strHTML.Substring(0, strHTML.IndexOf("</tr>"));

        string newStrHtml = "";
        newStrHtml += "<!DOCTYPE html>" + System.Environment.NewLine;
        newStrHtml += "<html lang='en-us' class='a-no-js' data-19ax5a9jf='dingo'>" + System.Environment.NewLine;
        newStrHtml += "<head><title></title><meta charset='utf-8'/><meta http-equiv='x-dns-prefetch-control' content='on'><link rel='dns-prefetch' href='https://images-na.ssl-images-amazon.com'><link rel='dns-prefetch' href='https://m.media-amazon.com'><link rel='dns-prefetch' href='https://completion.amazon.com'><script type='text/javascript'>var ue_t0=ue_t0||+new Date();</script></head>" + System.Environment.NewLine;
        newStrHtml += "<body>" + System.Environment.NewLine;
        newStrHtml += "<table><tr><th>" + strHTML + "</tr></table>" + System.Environment.NewLine;
        newStrHtml += "</body></html>";

        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc.LoadHtml(newStrHtml);

        var nodes = doc.DocumentNode.SelectNodes(".//span/span");
        if (nodes != null)
        {
            for (int i = 0; i < nodes.Count; i++)
            {
                string sortName = "";
                int ranking = 0;

                sortName = nodes[i].SelectSingleNode(".//a") != null ? nodes[i].SelectSingleNode(".//a").InnerText : "";
                sortName = sortName.Replace("See Top 100 in ", "");

                var rankStr = nodes[i].InnerText;
                rankStr = rankStr.Substring(0, rankStr.IndexOf("in"));
                ranking = int.Parse(rankStr.Replace("#", "").Replace(",", "").Trim());

                if (string.IsNullOrEmpty(sortName) == false)
                {
                    sortRankingList.Add(new Tuple<string, int>(sortName, ranking));
                }
            }
        }
    }

总评分、review数量

    string asin = "";
    string url = "https://www.amazon.com/gp/product/" + asin;
    string strHTML = "";
    WebClient myWebClient = new WebClient();
    Stream myStream = myWebClient.OpenRead(url);
    StreamReader sr = new StreamReader(myStream, System.Text.Encoding.GetEncoding("utf-8"));
    strHTML = sr.ReadToEnd();
    myStream.Close();

    HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
    doc.LoadHtml(strHTML);

    HtmlNode comment_star_node = doc.DocumentNode.SelectSingleNode("//span[@id='acrPopover']");
    string comment_star_str = comment_star_node == null ? "" : comment_star_node.Attributes["title"].Value;

    HtmlNode comment_review_node = doc.DocumentNode.SelectSingleNode("//span[@id='acrCustomerReviewText']");
    string comment_review_str = comment_review_node == null ? "" : comment_review_node.InnerText;

    //截取总评分和review数量
    if (string.IsNullOrEmpty(comment_star_str) == false)
    {
        double star = double.Parse(comment_star_str.Replace("out of 5 stars", "").Trim());
    }

    if (string.IsNullOrEmpty(comment_review_str) == false)
    {
        int review = int.Parse(comment_review_str.Replace("ratings", "").Trim());
    }
@Jana
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C#简单的商品查询系统
04-27
比较的简单的一个商品查询系统,希望大家可以获得帮助
c#抓取亚马逊商品信息②review详情
qq_40994326的博客
12-11 640
string asin = ""; string url = "https://www.amazon.com/product-reviews/" + asin + "/ref=cm_cr_arp_d_viewopt_srt?sortBy=recent&pageNumber=1"; string strHTML = ""; WebClient myWebClient = new WebCli...
Python爬虫入门实例二之亚马逊商品页面的爬取
Mr.Q_LuLu的博客
10-28 2945
本文通过采用爬虫requests库爬取亚马逊商品页面的入门实例，为大家排坑关于对于设置来源审查网站的爬取方法，适合新手入门。
c#爬虫爬取京东的商品信息
08-26
主要给大家介绍了关于利用c#爬虫爬取京东商品信息的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们随着小编来一起学习学习吧
【从零开始学爬虫】采集亚马逊商品信息
u011231755的博客
06-30 1184
l采集网站 【场景描述】采集亚马逊搜索关键词出来的商品信息。 【入口网址】https://www.amazon.com/-/zh/ref=nav_logo 【采集内容】采集亚马逊搜索关键词搜索出来的商品信息，包括商品名称、价格、型号、星级和商品链接。 l思路分析 l配置步骤 一.新建采集任务 选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。 二.关键词配置及翻...
C# 获取显卡信息 读取显卡硬件信息
03-24
1、C#读取显卡硬件信息
C#基于正则表达式实现获取网页中所有信息的网页抓取类实例
08-30
主要介绍了C#基于正则表达式实现获取网页中所有信息的网页抓取类,结合完整实例形式分析了C#正则网页抓取类与使用技巧,需要的朋友可以参考下
c#中利用Tu Share获取股票交易信息
08-19
主要介绍了c#中利用Tu Share获取股票交易信息,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
C#获取CPU 的相关信息
02-21
抓取CPU的相关信息； ManagementClass cimobject = new ManagementClass("Win32_Processor"); ManagementObjectCollection moc = cimobject.GetInstances();
批量爬取亚马逊商品信息
qq_42052864的博客
04-20 1794
思路 爬取页面信息，存储详情页链接 爬取详情页链接 爬取详情页图片 将数据保存到mysql 要点 商品列表页爬取-商品链接，商品价格，商品名称，图片链接，评论链接，ASIN----需要登录或者修改配送地址（登录执行1次） 爬取商品链接，需要变体COLOR,SIZE，商店名称，detail 1个driver爬取页面 5个driver爬取详情页 request下载图片 导入模块 from selenium import webdriver from selenium.webdriver..
C#亚马逊(MWS)API 签名计算方法
07-31
最近公司在对接亚马逊平台的API  对于亚马逊官方给出的文档看着也着实心累，最后在研究了他的SDK后 自己封装出了一个包，有需要的同学可以拿去，里面的请求方式可以自己改，觉得有问题的 自行修改。最主要还是知道他生成签名的原理。
(源代码)c# 基于数据库的商品信息管理系统实例(含登录和操作两个界面)
10-12
(源代码)c# 基于数据库的商品信息管理系统实例(含登录和操作两个界面) 原创代码，有所有需要的代码，可直接用
nopcommerce amazon 亚马逊 自动采集插件
12-29
1 采集插件，打开amazon站点点击链接采集 2 自动采集多变种，价格，图片，品牌，分类等信息 3 自动创建多变种，价格，图片，品牌，分类等信息到nopcommerce 4 站点真实、可用的插件
商品信息管理系统
05-06
有源码，有文档，开发环境是在Visual Studio .NET 2005的平台上C#.Net的应用程序(winform),采用SQL Server 2000数据库系为基本应用软件开发系统程序。 第一章 前言 1 1.1 项目依据及意义 1 1.2 国内外研究现状及发展趋势 1 1.3 项目内容及技术分析 2 1.4 本课题研究方案 2 1.5 研究目标、主要特色 3 第二章 可行性研究 4 2.1 经济可行性 4 2.2 社会可行性 4 2.3 技术可行性 4 第三章 需求分析 6 3.1 系统功能需求 6 3.2. 系统非功能性需求 7 3.2.1性能需求 7 3.2.2 安全性需求 7 3.3 应用与开发环境 8 3.3.1 系统定义 8 3.3.2 运行环境 8 3.3.3 硬件环境 8 3.3.4 其他要求 9 第四章 总体设计 10 4.1 总体设计概述 10 4.2 系统功能结构设计 10 4.3 系统各子系统的分析与设计 11 4.3.1 用户登录子系统 11 4.3.2商品管理系统基本概念模型 11 4.4数据库中主要表的结构设计 13 4.4.1 进货计划表的结构设计 13 4.4.2 商品库存表 14 4.4.3 用户表 15 4.4.4 人员管理表 15 4.4.5 三个自由表情况 16 第五章 详细设计与规划 17 5.1系统登录 17 5.2系统管理 19 5.2.1 用户管理 19 5.2.2 密码管理 21 5.3 商品管理 23 5.3.1 进货管理 23 5.3.2 库存管理 25 5.3.3 商品管理 26 5.4 供货商管理 27 5.4.1 供货商管理 27 5.4.2 供货商查询和统计 29 5.5销售管理 30 第六章 系统测试与调试 33 6.1 单元测试 33 6.2 综合测试 34 6.3 验收测试 34 第七章 系统的维护 35 第八章 总结 36 致 谢 37
爬虫项目九：亚马逊中国商品数据爬虫
weixin_47163937的博客
03-28 1598
文章目录前言一、分析url二、分析页面三、获取数据 前言 Python对亚马逊中国平台的商品数据抓取 提示：以下是本篇文章正文内容，下面案例可供参考 一、分析url 我们打开亚马逊中国官网输入商品关键词，观察url，其中有三个参数，K表示的就是商品关键词 可以直接用中文替换 https://www.amazon.cn/s? k=%E8%A3%A4%E5%AD%90 ==》关键词 &__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99 .
c# gzip html,C#代码到GZip并将字符串上传到Amazon S3
weixin_33613462的博客
06-25 132
我目前使用以下代码从Amazon C#中检索和解压缩字符串数据：GetObjectRequest getObjectRequest = new GetObjectRequest().WithBucketName(bucketName).WithKey(key);using (S3Response getObjectResponse = client.GetObject(getObjectReque...
亚马逊商品详情API接口（item_get-获得AMAZON商品详情接口），亚马逊API接口
tbprice的博客
06-29 4406
亚马逊商品详情API接口
C#使用WebClient查看网页源码
小龙在线
10-16 308
WebClient是C# System.Net下的常用类，用于请求URI标识的资源，如http、https、ftp、file等，常用方法有OpenWrite、UploadData、UploadFile、UploadValues、DownloadData、DownloadFile、OpenRead等。
C#tileView1悬浮条目信息获取
最新发布
05-26
您可以通过TileViewItem的MouseHover事件来获取悬浮条目的信息。在该事件中，您可以使用e.Item.GetDisplayText()方法获取条目的显示文本，使用e.Item.Tag属性获取与条目关联的任何对象。 以下是一个示例代码： ```...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值