简单的爬虫抓取图片

前台:<asp:TextBox ID="txtName" runat="server"></asp:TextBox>
        <asp:Button ID="Button1" runat="server" Text="抓取" OnClick="Button1_Click" />

后台:

public static string GetHtmlStr(string url)
    {
        try
        {
            WebRequest rGet = WebRequest.Create(url);
            WebResponse rSet = rGet.GetResponse();
            Stream s = rSet.GetResponseStream();
            StreamReader reader = new StreamReader(s, Encoding.UTF8);
            return reader.ReadToEnd();
        }
        catch (WebException)
        {
            //连接失败
            return null;
        }
    }
    protected void Button1_Click(object sender, EventArgs e)
    {
        string name = txtName.Text.Trim();
        
        string url = "https://www.ivsky.com/search.php?q=" + name;
        string htmlstr = GetHtmlStr(url);
        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();

        doc.LoadHtml(htmlstr);
        HtmlNode rootnode = doc.DocumentNode;    //XPath路径表达式,这里表示选取所有span节点中的font最后一个子节点,其中span节点的class属性值为num
        //根据网页的内容设置XPath路径表达式
        //string xpathstring = "//ul[@class='clearfix']/li/a/img";
        string xpathstring = "//ul[@class='pli']/li/div/a/img";
        HtmlNodeCollection aa = rootnode.SelectNodes(xpathstring);    //所有找到的节点都是一个集合

        if (aa != null)
        {
            string sPath = @"C:\Users\Administrator\Desktop\JQuery练习4.14爬虫高德支付宝\Weeb\imagess" + "\\"; //imagess的文件夹
            Directory.CreateDirectory(sPath);
            for (int i = 0; i < aa.Count(); i++)
            {
                string innertext = aa[i].InnerText;
                string src = aa[i].GetAttributeValue("src", "");
                // string src = aa[i].GetAttributeValue("data-original", "");    //获取color属性,第二个参数为默认值
                //其他属性大家自己尝试http://pic213.nipic.com/pic/20190418/25420067_201520670080_4.jpg
                DownloadPhotoFromUrl(src, sPath);
                Response.Write("<img src='" + src + "' referrerPolicy='no-referrer' >");
                Response.Write("<p>" + src + "</p>");
            }
        }
    }
    public static void DownloadPhotoFromUrl(string Url, string sPath)
    {
        HttpWebRequest webrequest = (HttpWebRequest)WebRequest.Create(Url);
        HttpWebResponse webresponse = (HttpWebResponse)webrequest.GetResponse();
        if (webresponse.StatusCode == HttpStatusCode.OK)
        {
            System.Drawing.Image image = System.Drawing.Image.FromStream(webresponse.GetResponseStream());
            //保存在本地文件夹
            image.Save(sPath + DateTime.Now.ToString("yyyyMMddHHmmssff") + ".jpg");
            //释放资源
            image.Dispose();
        }
    }

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值