如何使用C#调用淘宝网页自动搜索，翻页和点击商品

最新推荐文章于 2024-03-29 19:59:48 发布
最新推荐文章于 2024-03-29 19:59:48 发布
阅读量3k 收藏 11
点赞数 1
分类专栏： C/C# 网页开发 文章标签： 网页搜索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012388993/article/details/85004920
版权

这一篇将说明如何使用C#和WPF浏览器控件来完成淘宝自动搜索，翻页，自动点击的操作

首先说明下，我在实现过程中使用的控件，一个是浏览器WebBrowser，一个是按钮Button，还有单选按钮RadioButton，以及多选CheckBox，下文代码中的reload函数是重新加载页面的函数。

 

目录

1.自动填写搜索栏

2.自动点击搜索按钮的实现

3.翻页的实现

4.匹配名称和ID并点击商品

这个软件设计的手动操作部分如下

 

1.自动填写搜索栏

先是实例化HTMLDocument，HTMLDocument类会获取目前浏览器控件加载好的网页文档，提供之后IHTMLElementCollection进行元素查找和操作。

 

尽管这部分函数我设计为按钮触发，但为了防止没有加载好的时候就获取，需要先等待网页加载完毕

if (webbrowser.IsLoaded != true)
            {
                InfoAdd("搜索前请先等待页面完成加载");
                return;
            }

其中webbrowser是我们WPF的浏览器控件名称，如果加载完成，那么可以实例化HTMLDocument

HTMLDocument doc = webbrowser.Document as HTMLDocument;

接下来我们可以看看淘宝的主页，顶部的搜索栏的HTML文本结构，这里可以使用浏览器调试模式查看，点击F12即可

可以看到，标签是input，因此，接下来我们要获取网页中所有的input标签，并且遍历搜索，找到搜索文本的输入框，并且将我需要的内容输入进去

//实例化元素搜集用途的类，然后弄一个页面上所有input标签的集合
IHTMLElementCollection els = doc.getElementsByTagName("input");

//遍历查找我们需要的那个搜索输入框
            foreach (IHTMLElement em in els)
            {
                try
                {
                    i++;
                    if (em.id != null)
                    {
                        if (em.id.Contains("q"))
                        {
                            //tbSearchWord.Text是一个控件，填写我需要填入淘宝搜索栏的文本
                            em.setAttribute("value", tbSearchWord.Text);

                        }
                    }
                }
                catch
                {

                }

            }

获取淘宝页面中的搜索栏，并且自动填写文本就实现了

 

2.自动点击搜索按钮的实现

和上一步一样的步骤，打开网页调试窗口，可以看到搜索按钮是button标签，所以我们一样获取下button元素

IHTMLElementCollection els2 = doc.getElementsByTagName("button");

 然后一样是遍历获取到的按钮，因为按钮中有文本所以我们通过比对innerText即可获取到

foreach (IHTMLElement em in els2)
            {
                try
                {
                    if (em.innerText != null)
                    {
                        if (em.innerText.Contains("搜索"))
                        {
                            em.click();
                        }
                    }

                }
                catch
                {

                }
                finally
                {

                }

            }

 

搜索+点击搜索按钮的函数（无注释版本）

void function2() //auto input 
        {
            int i = 0;
            if (webbrowser.IsLoaded != true)
            {
                InfoAdd("搜索前请先等待页面完成加载");
                return;
            }
            HTMLDocument doc = webbrowser.Document as HTMLDocument;
            IHTMLElementCollection els = doc.getElementsByTagName("input");
            foreach (IHTMLElement em in els)
            {
                try
                {
                    i++;
                    if (em.id != null)
                    {
                        if (em.id.Contains("q"))
                        {
                            em.setAttribute("value", tbSearchWord.Text);
                        }
                    }
                }
                catch
                {

                }

            }
            Thread.Sleep(200);
            IHTMLElementCollection els2 = doc.getElementsByTagName("button");
            foreach (IHTMLElement em in els2)
            {
                try
                {
                    if (em.innerText != null)
                    {
                        if (em.innerText.Contains("搜索"))
                        {
                            em.click();
                        }
                    }

                }
                catch
                {

                }
                finally
                {

                }

            }
            //   System.Windows.MessageBox.Show("Current:"+i);
        }

 

3.翻页的实现

翻页是对于整个网站结构的推测，例如，我先随便搜索什么东西，跳转页面结果后，网址是

https://s.taobao.com/search?q=ai&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306

这里面并没有包含页面的信息，滑动到网页末尾，点击第二页

https://s.taobao.com/search?q=ai&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306&bcoffset=3&ntoffset=3&p4ppushleft=1%2C48&s=44

可以看到，末尾有一个s=44

 

通过修改，可以了解，这部分是商品显示的序号，一页显示43个商品，那么s=44就是说，从第44个开始显示

 

可以试试，s=0 搜索页面末尾的结果

 

当s=41时

 

这里让我有点奇怪的是，一页显示是43个，那么最后一个应该是42（因为是从0开始），但这边却是41

 

不过，依据以上的方法也就基本可以搞懂搜索结果页面翻页的原理了

先获取网页的连接，判断现在的页面是翻页后的页面（有s=）还是没有翻页的页面如果说当前页面不是翻页后的页面，那么就在末尾添加标识，请求下一页的44个商品

tbAddress.Text = webbrowser.Source.AbsoluteUri;
            string currentUri = tbAddress.Text;
if (currentUri.Contains("ie=utf8") && !currentUri.Contains("&s="))
            {
                InfoAdd("当前是搜索结果页面首页");
                InfoAdd("尝试跳转到第2页");
                reload(currentUri + "&s=44");
                return 2;
            }

 

如果是翻页的页面，就获取s=的值，以判断当前第几页，算法只是操作字符串，所以就不做详述了。函数会返回当前的页面是搜索结果的第几页

else if (currentUri.Contains("&s="))
            {

                InfoAdd("尝试跳转到下一页");
                string rebuilds = "";
                string[] s = currentUri.Split('=');
                s[s.Length - 1] = (Convert.ToInt32(s[s.Length - 1]) + 44).ToString();
                for (int i = 0; i < s.Length; i++)
                {
                    if (i != 0) rebuilds += "=";
                    rebuilds += s[i];
                }
                int currentpage = (Convert.ToInt32(s[s.Length - 1])) / 44 + 1;
                InfoAdd("当前页为第" + currentpage.ToString() + "页");
                reload(rebuilds);
                // System.Windows.MessageBox.Show("RebuildUrl:" + rebuilds);
                return currentpage;

            }

 

 

翻页部分的整个函数

由按钮触发，自定义的控件有tbNextPage， tbAddress， webbrowser

private void tbNextPage_Click(object sender, RoutedEventArgs e)
        {
            GoToNextPage();
        }
        /// <summary>
        /// 寻找下一页按钮并跳转
        /// </summary>
        /// <returns>跳转后的页面是第几页</returns>
        private int GoToNextPage()
        {
            tbAddress.Text = webbrowser.Source.AbsoluteUri;
            string currentUri = tbAddress.Text;

            if (currentUri.Contains("ie=utf8") && !currentUri.Contains("&s="))
            {
                InfoAdd("当前是搜索结果页面首页");
                InfoAdd("尝试跳转到第2页");
                reload(currentUri + "&s=44");
                return 2;
            }
            else if (currentUri.Contains("&s="))
            {

                InfoAdd("尝试跳转到下一页");
                string rebuilds = "";
                string[] s = currentUri.Split('=');
                s[s.Length - 1] = (Convert.ToInt32(s[s.Length - 1]) + 44).ToString();
                for (int i = 0; i < s.Length; i++)
                {
                    if (i != 0) rebuilds += "=";
                    rebuilds += s[i];
                }
                int currentpage = (Convert.ToInt32(s[s.Length - 1])) / 44 + 1;
                InfoAdd("当前页为第" + currentpage.ToString() + "页");
                reload(rebuilds);
                // System.Windows.MessageBox.Show("RebuildUrl:" + rebuilds);
                return currentpage;

            }
            return 0; //当前页面不可跳转

        }

 

4.匹配名称和ID并点击商品

商品连接就是普通的连接，在淘宝的页面中是以a标签标注的，所以，依照先前的部分一样，我们需要实例化并且获取到所有的a标签元素

 HTMLDocument doc = webbrowser.Document as HTMLDocument;
 IHTMLElementCollection allurl = doc.getElementsByTagName("a");

然后就是对获取到的a标签进行筛选，获取到目标，有一点是，天猫，推荐和普通商品这三种，连接的服务器名部分是不一样的

foreach (IHTMLElement em in allurl)
                {
                    string url = em.getAttribute("href");
                    if (url == null) continue;
                    string[] sarr = url.Split(new char[] { '/' });
                    if (sarr.Length < 3) continue;
                    string s = url.Split(new char[] { '/' })[2].Split(new char[] { '.' })[0];
                    string name = em.innerText;

                    //普通被勾选
                    if (cbItem.IsChecked == true && cbDetail.IsChecked == false && cbClick.IsChecked == false)
                    {
                        if (s.Equals("detail") || s.Equals("item"))
                        {
                            if (name != null && name.Contains("销量") == false && name.Contains("￥") == false && name.Contains(".00") == false)
                            {
                                tbaddressinfo.Text += url + "\r\n";

                                if (name.Length > 2)
                                {
                                    if (name.Contains(targetname) || name.Contains(targetname.Substring(0, targetname.Length - 1)) )
                                    {
                                        if(url.Contains(tbTargetID.Text))
                                        {
                                            reload(url);
                                            finded = true;
                                            break;
                                        }
                                        
                                    }
                                }
                            }
                        }
                    }

通过上面的算法就可以选出我们需要的物品的名称以及连接，最后一步的判断有一个匹配TargetID的部分

                                      if(url.Contains(tbTargetID.Text))
                                        {
                                            reload(url);
                                            finded = true;
                                            break;
                                        }

其中这里的tbTargetID是指的一件商品独有的ID，因为只搜索商品名称，有可能会有重复的问题，所以建议加上该部分判断

 

 

如果还有不了解的请在评论中留言
 

arenascat
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C#实现爬取淘宝商品
极客神殿
06-15 7586
Program.cs代码: class Program { static void Main(string[] args) { string URL = @"https://s.taobao.com/search?q={0}&s={1}"; Console.WriteLine("请输入你要查找的商品:");
网络搜图精灵（C#源代码）
07-13
网络搜图精灵（C#源代码） 搜索亿万张网络图片
c#控制IE浏览器自动点击等事件WebBrowser，mshtml.IHTMLDocument2
Stoneson
01-13 5144
<br /><br />可以实现例如通过应用程序操作google搜索，用户输入要搜索的内容，然后在google中搜索；可以自动点击网页上的按钮等功能<br />    1. 加入对Microsoft Internet Controls的引用；<br />    2. 加入对Microsoft HTML Object Library的引用；<br />（要引入Microsoft.mshtml.dll 地址是C:/Program Files/Microsoft.NET/Primary Interop Assem
C# Asp.Net自动调用百度搜索页面baidu/google搜索页面
xiaoxiali的专栏
01-15 3826
转自：http://www.cnblogs.com/Joseph/articles/1620722.html 很多网站上嵌入Baidu/Google搜索功能。 说起来很简单，但在实现的时候总会遇到这样那样的问题。baidu/google搜索全英文是没任何问题的。 但搜索中文有小小麻烦。调用google搜索最简单，它会自动识别简繁及转换功能。但在百度搜索则行不通,这是我实现的时候遇
python爬虫日志(13)selenium实现淘宝自动翻页以及在新的标签页中打开网页
weixin_41506373的博客
08-15 4459
对于淘宝这个网站，翻页可以有很多种方法，我们可以点击下一页，可以点击数字，也可以直接输入页数然后回车，这里我自己是采用点击下一页的方法，这样就不用获取总页数，因为当到达最后一页时，包含下一页的标签的class会有一个'next-disabled'属性很方便的判断是否到达最后一页。 知道原理代码就很简单了。 next_button = browser.find_element_by_css...
ASP.NET/C#实现搜索功能
GreyCastle的博客
01-20 1万+
描述：我们现在开发的项目中几乎都会有搜索的这个需求，就像我们平时用的百度，谷歌这些都是满足我们平时的搜索需求的。当然在我们的项目中我们不可能利用百度，谷歌的搜索来实现自己项目中的搜索的，这时我们就需要自己进行开发实现这项功能了。那么怎样实现呢，其实现在现在我们有很多成熟的搜索算法，不必自己去研究，只需要自己修改那些大神写的代码就Ok啦。言归正传，下面介入正题。 搜索的功能我是用Lucene.Ne...
使用C#调用百度地图
05-29
使用C#调用百度地图 程序实现功能： 1、输入网址那可以调用本地的html文件，也可以访问其他网站 2、输入坐标、添加坐标按钮，可以将坐标值传入html文件中，显示在经纬度的文本框中 3、定位按钮可以将地图重新定位，...
C#.NET实现网页自动登录的方法
01-20
本文实例讲述了C#.NET实现网页自动登录的方法。分享给大家供大家参考。具体如下： 用C#语言编写一个Windows Form应用程序，实现自动登录一个特定的页面。 下面以自动登录：http://localhost/Web/Login.aspx　作为...
C#调用C和C++动态库参数自动转换工具.rar
07-05
这个“C#调用C和C++动态库参数自动转换工具”就是为了帮助解决这个问题而设计的。下面将详细介绍这个过程中的关键知识点。 1. **P/Invoke**：这是.NET Framework提供的一种机制，允许C#代码直接调用原生的C和C++...
C#Winform调用Windows API user32.dll实现鼠标事件示例-自动点击工具
08-17
之前工作时需要固定点击屏幕上一位置的button，即使人不在工位也需要，就想起了按键精灵，但转念一想自己会使用C#为何不自行写一个小工具呢 主要是调用Windows API user32.dll动态库，将其引入到项目之中，此为非...
C#调用C++动态DLL
02-13
在编程领域，有时我们需要在不同语言之间进行交互，例如C#和C++。在C#中调用C++编写的动态链接库（DLL）是一种常见的跨语言通信方式，特别是当C++库提供了某些C#中没有的功能或者优化的性能时。本文将详细探讨如何在...
我的练习项目： 模拟淘宝搜索商品、添加商品到购物车功能、修改商品信息功能
热门推荐
u010033398的博客
04-08 1万+
需求：用户浏览商品，不需要登陆。点击添加到购物车时，引导用户登陆。点击修改时候，修改商品信息。 需求详细：页面首页有搜索框，输入字符，列出商品列表。点击添加商品时，如果用户未登陆，跳转到登陆界面，引导用户登陆。登陆成功后，自动跳转到用户搜索的商品列表。当用户点击添加商品时候，添加到数据库中。点击修改时，修改商品信息，然后数据库存储改动后的数据。 设计： 环境:  jdk1.7，myeclip
C# C+ JAVA下的封装淘宝API接口（获得淘宝商品详情item_get_pro 获得淘宝商品详情高级版item_review 获得淘宝商品评论item_fee 获得淘宝商品快递费用）
H_Y_X_C的博客
05-26 190
Curl：是一个用于传输数据的工具和库，支持多种协议，如HTTP、FTP、SMTP等。PHP：是一门广泛应用于Web开发的编程语言，它的特点是易学易用，支持面向对象编程，以及与多种数据库互动能力。PHPSdk：是一组用于PHP开发者的SDK工具，提供了跨多个平台的调用接口和功能类库。Java：是一种跨平台的面向对象编程语言，具有高度可移植性和稳定性，因此被广泛应用于各种软件开发领域，如移动应用、企业级应用等。
淘宝API代码c#实例
大伟先生
11-18 4183
 这是一个通用的类。。 具体调用 看下面 using System; using System.Collections.Generic; using System.Linq; using System.Text; namespace TaoBaoManagersTools {     public class TaoBaoManagers
c#操作第三方窗体
haikou9410的博客
05-31 3596
本人工作的单位是一家加工制造的单位，有时候必须要对客户提供的一些测试软件进行操作，在我没来这家公司之前，我发现他们都是在电脑上同时打开很多的窗口，除了第三方的测试软件外还有自己的控制窗口，整个电脑屏幕就看起来很乱，而且在进行自动点等击操作的时候就会更加麻烦，每次打开软件都需要慢慢调整坐标，特别的麻烦，所以我就想是否可以将第三方的窗体融入到我的界面上，网上的资料比较少，查找了许多资料，终于如愿以偿，...
C#实现按钮自动点击/自动触发（附完整源码）
最新发布
希望我的博客，能帮上你解决学习中工作中所遇到的问题
03-29 457
C#实现按钮自动点击/自动触发（附完整源码）
C#窗体设计实现界面按钮在程序中的自动点击
weixin_41883890的博客
05-17 6688
本文讲解C#窗体设计实现按钮在程序中的自动点击。 操作流程 1.1. 点击事件Click的创建 创建一个按钮，然后生成点击事件如下所示 在程序中，编写相应的触发程序： 这样的话，就实现了在窗体运行中，点击按钮能触发Click事件的程序，点击本质起始就是调用button2_Click方法，因此，在其它程序执行过程中，如果想要点击事件触发， 直接调用该方法即可，如下所示 ...
C# Chrome浏览器网页自动化操作
save
12-27 5355
NuGet 包管理器 安装 WebDriver 自动登录QQ邮箱 using OpenQA.Selenium; using OpenQA.Selenium.Chrome; using OpenQA.Selenium.Support.UI; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.
C#下实现搜索框效果方案
windskiper的博客
01-31 1060
但是，这是个补丁方案，需要许多分支特殊处理，因为拦截的keys类型的数据，一部分不应该被传给SearchKeyWord（如Back，Shift Ctrl），一部分需要具体响应（Enter），一部分的KeyCode无法直接翻译成char进行添加（比如-号会翻译成什么oemMinus），还要考虑到Shift和Capslock的情况对char进行翻译，尽管实际可以从Keys的各个属性拼凑出想要的char，但是是一个很繁杂的过程。ListBox是代码中动态添加的，并不在原来的布局文件（Designer.cs）中。
使用C#调用C++demo
03-21
使用C#调用C++的demo可以通过以下步骤实现： 1. 创建一个C++的动态链接库（DLL）项目，编写C++代码实现所需功能，并将其编译为DLL文件。确保在C++代码中使用`extern "C"`修饰符来指定函数的导出方式，以便C#能够...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值