C#winform抓取百度,Google搜索关键词结果

最新推荐文章于 2025-09-12 10:15:49 发布
转载 最新推荐文章于 2025-09-12 10:15:49 发布 · 2.7k 阅读 · 4
文章标签：

#c# #爬虫

本文介绍了一种用于抓取百度和Google搜索结果的方法，并实现了关键词及其链接的导出功能。

基于网站seo,做了一采集百度和Google搜索关键字结果的采集.在这里与大家分享一下

先看先效果图 

代码附加:

 View Code

复制代码
 1   private void baidu_Click(object sender, EventArgs e)
 2         {
 3             int num = 100;//搜索条数
 4             string url = "http://www.baidu.com/s?wd=" + txtSearch.Text.Trim() + "&rn=" + num + "";
 5             string html = search(url, "gb2312");
 6             BaiduSearch baidu = new BaiduSearch();
 7             if (!string.IsNullOrEmpty(html))
 8             {
 9                 int count = baidu.GetSearchCount(html);//搜索条数
10                 if (count > 0)
11                 {
12                     List<Keyword> keywords = baidu.GetKeywords(html, txtSearch.Text.Trim());
13                     dataGridView1.DataSource = keywords;
14                 }
15 
16             }
17         }
18 
19         private void google_Click(object sender, EventArgs e)
20         {
21             int num = 100;
22             string url = "http://www.google.com.hk/search?hl=zh-CN&source=hp&q=" + txtSearch.Text.Trim() + "&aq=f&aqi=&aql=&oq=&num=" + num + "";
23             string html = search(url, "utf-8");
24             if (!string.IsNullOrEmpty(html))
25             {
26 
27                 googleSearch google = new googleSearch();
28                 List<Keyword> keywords = google.GetKeywords(html, txtSearch.Text.Trim());
29                 dataGridView1.DataSource = keywords;
30 
31             }
32         }
33         /// <summary>
34         /// 搜索处理
35         /// </summary>
36         /// <param name="url">搜索网址</param>
37         /// <param name="Chareset">编码</param>
38         public string search(string url, string Chareset)
39         {
40             HttpState result = new HttpState();
41             Uri uri = new Uri(url);
42             HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(url);
43             myHttpWebRequest.UseDefaultCredentials = true;
44             myHttpWebRequest.ContentType = "text/html";
45             myHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0; .NET CLR 1.1.4322; .NET CLR 2.0.50215;)";
46             myHttpWebRequest.Method = "GET";
47             myHttpWebRequest.CookieContainer = new CookieContainer();
48 
49             try
50             {
51                 HttpWebResponse response = (HttpWebResponse)myHttpWebRequest.GetResponse();
52                 // 从 ResponseStream 中读取HTML源码并格式化 add by cqp
53                 result.Html = readResponseStream(response, Chareset);
54                 result.CookieContainer = myHttpWebRequest.CookieContainer;
55                 return result.Html;
56             }
57             catch (Exception ex)
58             {
59                 return ex.ToString();
60             }
61 
62         }
63         public string readResponseStream(HttpWebResponse response, string Chareset)
64         {
65             string result = "";
66             using (StreamReader responseReader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding(Chareset)))
67             {
68                 result = formatHTML(responseReader.ReadToEnd());
69             }
70 
71             return result;
72         }
73         /// <summary>
74         /// 描述:格式化网页源码
75         /// 
76         /// </summary>77         /// <param name="htmlContent"></param>78         /// <returns></returns>79         public string formatHTML(string htmlContent)80         {81             string result = "";82 83             result = htmlContent.Replace("&raquo;", "").Replace("&nbsp;", "")84                     .Replace("&copy;", "").Replace("/r", "").Replace("/t", "")85                     .Replace("/n", "").Replace("&amp;", "&");86             return result;87
复制代码

 把百度和Google两个类抽取了出来

1.百度Search类

 View Code

复制代码
 1 class BaiduSearch
 2     {
 3         protected string uri = "http://www.baidu.com/s?wd=";
 4         protected Encoding queryEncoding = Encoding.GetEncoding("gb2312");
 5         protected Encoding pageEncoding = Encoding.GetEncoding("gb2312");
 6         protected string resultPattern = @"(?<=找到相关结果[约]?)[0-9,]*?(?=个)";
 7         public int GetSearchCount(string html)
 8         {
 9             int result = 0;
10             string searchcount = string.Empty;
11 
12             Regex regex = new Regex(resultPattern);
13             Match match = regex.Match(html);
14 
15             if (match.Success)
16             {
17                 searchcount = match.Value;
18             }
19             else
20             {
21                 searchcount = "0";
22             }
23 
24             if (searchcount.IndexOf(",") > 0)
25             {
26                 searchcount = searchcount.Replace(",", string.Empty);
27             }
28 
29             int.TryParse(searchcount, out result);
30 
31             return result;
32         }
33 
34         public List<Keyword> GetKeywords(string html, string word)
35         {
36             int i = 1;
37             List<Keyword> keywords = new List<Keyword>();
38             string ss="<h3 class=\"t\"><a.*?href=\"(?<url>.*?)\".*?>(?<content>.*?)</a>";
39             MatchCollection mcTable = Regex.Matches(html,ss);
40             foreach (Match mTable in mcTable)
41             {
42                 if (mTable.Success)
43                 {
44                     Keyword keyword = new Keyword();
45                     keyword.ID = i++;
46                     keyword.Title = Regex.Replace(mTable.Groups["content"].Value, "<[^>]*>", string.Empty);
47                     keyword.Link = mTable.Groups["url"].Value;
48                     keywords.Add(keyword);
49 
50                 }
51             }
52 
53             return keywords;
54         }
55
复制代码

2 .GoogleSearch类

 View Code

复制代码
 1   class googleSearch
 2     {
 3 
 4         public List<Keyword> GetKeywords(string html, string word)
 5         {
 6             int i = 1;
 7             List<Keyword> keywords = new List<Keyword>();
 8 
 9             Regex regTable = new Regex("<h3 class=\"r\"><a.*?href=\"(?<url>.*?)\".*?>(?<content>.*?)</a>", RegexOptions.IgnoreCase);
10             Regex regA = new Regex(@"(?is)<a/b[^>]*?href=(['""]?)(?<link>[^'""/s>]+)/1[^>]*>(?<title>.*?)</a>", RegexOptions.IgnoreCase);
11 
12             MatchCollection mcTable = regTable.Matches(html);
13             foreach (Match mTable in mcTable)
14             {
15                 if (mTable.Success)
16                 {
17                     Keyword keyword = new Keyword();
18                     keyword.ID = i++;
19                     keyword.Title = Regex.Replace(mTable.Groups["content"].Value, "<[^>]*>", string.Empty);
20                     keyword.Link = mTable.Groups["url"].Value;
21                     keywords.Add(keyword);
22                 }
23             }
24 
25             return keywords;
26         }
27
复制代码

 忘了.还有个导出Excel,这个友友们应该都有自己的方法,我这里就简单写了一个excel导出.也贴出来吧.

复制代码
 1   public void ExportDataGridViewToExcel(DataGridView dataGridview1)
 2         {
 3             SaveFileDialog saveFileDialog = new SaveFileDialog();
 4             saveFileDialog.Filter = "Execl  files  (*.xls)|*.xls";
 5             saveFileDialog.FilterIndex = 0;
 6             saveFileDialog.RestoreDirectory = true;
 7             saveFileDialog.CreatePrompt = true;
 8             saveFileDialog.Title = "导出Excel文件";
 9 
10             DateTime now = DateTime.Now;
11             saveFileDialog.FileName = now.Year.ToString().PadLeft(2) + now.Month.ToString().PadLeft(2, '0') + now.Day.ToString().PadLeft(2, '0') + "-" + now.Hour.ToString().PadLeft(2, '0') + now.Minute.ToString().PadLeft(2, '0') + now.Second.ToString().PadLeft(2, '0');
12             saveFileDialog.ShowDialog();
13 
14             Stream myStream;
15             myStream = saveFileDialog.OpenFile();
16             StreamWriter sw = new StreamWriter(myStream, System.Text.Encoding.GetEncoding("gb2312"));
17             string str = "";
18             try
19             {
20                 //写标题      
21                 for (int i = 0; i < dataGridview1.ColumnCount; i++)
22                 {
23                     if (i > 0)
24                     {
25                         str += "\t";
26                     }
27                     str += dataGridview1.Columns[i].HeaderText;
28                 }
29                 sw.WriteLine(str);
30                 //写内容   
31                 for (int j = 0; j < dataGridview1.Rows.Count; j++)
32                 {
33                     string tempStr = "";
34                     for (int k = 0; k < dataGridview1.Columns.Count; k++)
35                     {
36                         if (k > 0)
37                         {
38                             tempStr += "\t";
39                         }
40                         tempStr += dataGridview1.Rows[j].Cells[k].Value.ToString();
41                     }
42                     sw.WriteLine(tempStr);
43                 }
44                 sw.Close();
45                 myStream.Close();
46                 MessageBox.Show("导出成功");
47             }
48             catch (Exception e)
49             {
50                 MessageBox.Show(e.ToString());
51             }
52             finally
53             {
54                 sw.Close();
55                 myStream.Close();
56             }
复制代码

57         } 

我把HTTpStatus类给贴出来..有需要demo的可以发邮件给我.或者留下邮箱

Httpstatus.cs 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
class HttpState
    {
        private string _statusDescription;
 
        public string StatusDescription
        {
            get { return _statusDescription; }
            set { _statusDescription = value; }
        }
 
        /// <summary>
        /// 回调 址址, 登陆测试中使用
        /// </summary>
        private string _callBackUrl;
 
        public string CallBackUrl
        {
            get { return _callBackUrl; }
            set { _callBackUrl = value; }
        }
 
 
        /// <summary>
        /// 网页网址 绝对路径格式
        /// </summary>
        private string _url;
 
        public string Url
        {
            get { return _url; }
            set { _url = value; }
        }
 
        /// <summary>
        /// 字符串的形式的Cookie信息
        /// </summary>
        private string _cookies;
 
        public string Cookies
        {
            get { return _cookies; }
            set { _cookies = value; }
        }
 
        /// <summary>
        /// Cookie信息
        /// </summary>
        private CookieContainer _cookieContainer = new CookieContainer();
 
        public CookieContainer CookieContainer
        {
            get { return _cookieContainer; }
            set { _cookieContainer = value; }
        }
 
        /// <summary>
        /// 网页源码
        /// </summary>
        private string _html;
 
        public string Html
        {
            get { return _html; }
            set { _html = value; }
        }
 
        /// <summary>
        /// 验证码临时文件(绝对路径)
        /// </summary>
        private string _tmpValCodePic;
 
        public string TmpValCodePic
        {
            get { return _tmpValCodePic; }
            set { _tmpValCodePic = value; }
        }
 
        /// <summary>
        /// 验证码临时文件名(相对路径)
        /// </summary>
        private string _tmpValCodeFileName = "emptyPic.gif" ;
 
        public string TmpValCodeFileName
        {
            get { return _tmpValCodeFileName; }
            set { _tmpValCodeFileName = value; }
        }
 
        /// <summary>
        /// 有验证码
        /// </summary>
        private bool _isValCode;
 
        public bool IsValCode
        {
            get { return _isValCode; }
            set { _isValCode = value; }
        }
 
        /// <summary>
        /// 验证码URL
        /// </summary>
        private string _valCodeURL;
 
        public string ValCodeURL
        {
            get { return _valCodeURL; }
            set { _valCodeURL = value; }
        }
 
        /// <summary>
        /// 验证码识别后的值
        /// </summary>
        private string _valCodeValue;
 
        public string ValCodeValue
        {
            get { return _valCodeValue; }
            set { _valCodeValue = value; }
        }
 
        /// <summary>
        /// 其它参数
        /// </summary>
        private Hashtable _otherParams = new Hashtable();
 
        public Hashtable OtherParams
        {
            get { return _otherParams; }
            set { _otherParams = value; }
        }
 
        // 重复添加处理 add by fengcj  09/11/19 PM
        public void addOtherParam( object key, object value)
        {
            if (! this .OtherParams.ContainsKey(key))
                this .OtherParams.Add(key, value);
            else
            {
                this .OtherParams[key] = value;
            }
        }
 
        public void removeOtherParam( object key)
        {
            this .OtherParams.Remove(key);
        }
 
        public object getOtherParam( object key)
        {
            return this .OtherParams[key];
        }
    }

　　

 KeyWord.cs

 

 

class Keyword
    {
        public int ID { get ; set ; }
        public string Title { get ; set ; }
        public string Link { get ; set ; }
    }

　　鉴于大家都需要demo,今天就整理一下发上来.添加了导出word,导出excel功能.晕...木找到怎么放文件路径进来....有需要的可以email我.

 

python winform自动化_c# winform UI + python底层的一点尝试
weixin_39758032的博客
12-13 1734
鉴于python做winform之类的UI比较弱。于是想结合C#的winform 和 python的底层开发(windows平台)。主要从一些网站抓取rss，然后解析rss，并在界面上显示。结构这是一个c/s架构。server端，用python编写，负责抓取rss并解析。client端，从server端拿到数据然后显示。client端和server端通过socket进行通讯。掉进去过的坑1. c#...
winform模拟登陆网页_【教程】模拟登陆网站 之 C#版（内含两种版本的完整的可运行的代码）...
weixin_30895003的博客
01-17 957
之前已经介绍过了网络相关的一些基础知识了：以及简单的网页内容抓取，用C#是如何实现的：现在接着来介绍，以模拟登陆百度首页：为例，说明如何通过C#模拟登陆网站。不过，此处需要介绍一下此文前提：假定你已经看完了：了解了基本的网络相关基本概念；看完了：知道了如何使用IE9的F12等工具去分析网页执行的过程。1.模拟登陆网站之前，需要搞清楚，登陆该网站的内部执行逻辑此想要通过程序，即C#代码，实现模拟登陆...
C#调用百度搜索引擎
03-13
C#调用百度搜索引擎
c# 抓百度的搜索引擎
11-08
c# 抓百度的搜索引擎
C#实现百度搜索引擎调用与网页抓取实战
最新发布
weixin_31459297的博客
09-12 1946
在当今大数据与信息检索日益重要的背景下，C#作为一门功能强大、类型安全的编程语言，广泛应用于后端服务、自动化脚本及数据采集系统中。通过C#调用百度搜索引擎，开发者可以实现自动化的信息检索、内容分析和数据挖掘等功能。百度搜索引擎的工作原理基于爬虫抓取、索引构建与查询匹配机制。C#通过HTTP网络请求，模拟浏览器行为，向百度发送查询请求，并解析返回的HTML页面内容，从而提取所需数据。这一过程涉及网络编程、HTML解析、反爬策略应对等多个关键技术点。
C# 高级编程第13章通过搜索异步获取百度图片.
04-26
根据C# 高级编程第13章的源码来获取搜索图片。源码使用的是必应的api，需要申请api和用户id，故放弃。由于百度没有提供类似必应的api，所以只能通过解析原网页来获取json数据，然后得到所搜索到的图片。这里使用了wpf技术（属性依赖，数据驱动），以及委托异步，事件异步，任务异步等技术来获取搜索图片。可以参考一下。
C#小程序——从百度摘取搜索结果。
aixing5855的博客
11-02 375
百度不使用xhtml，这样使得.NET原有的XML功能就不是那么好用了。 （而且，谁会真正喜欢DOM呢？用起来多累人啊！） 不过百度的页面很不规则，所以迫不得已使用了大量的硬编码。 因此，这个程序对百度的页面设计做了相当多的假设，无法很好的适应百度的页面结构在未来的改变。 还好这种小程序写起来轻松，所以没事改一改也没事。 另外这个程序使用了大量的正则表达式，这可能会...
C#开发Winform百度快照索引link和百度快照Cache批量抓取工具
11-20
本软件为自己应对公司一些特定业务时做的，供内部使用，具体用于以下两种情况 ...此程序为简易程序，做的比较简单，运行速度可能比较慢，且若百度监控到搜索频繁提示验证码时程序不可用，环境要求.NET4.5，否则打不开
C# WinForm与WebKit浏览器交互实现
标题“webkit与C# winform相互调用”所描述的技术正是这一融合的典型代表，它展示了如何在C# WinForm应用程序中集成WebKit浏览器引擎，并实现WinForm窗体与HTML页面之间的双向通信。该技术不仅提升了界面设计的灵活...
C#操作Selenium自动化测试，采集数据实例源码。
03-05
在这个例子中，我们创建了一个`ChromeDriver`实例，导航到Google首页，找到搜索框元素并输入文本，最后提交表单。Selenium的强大之处在于它能够模拟用户的各种交互行为，如点击、滚动、填表单等。 对于数据采集，...
C# 百度文字识别Demo
09-13
参考：https://blog.csdn.net/a497785609/article/details/82690732
vs2015开发的批量采集百度搜索引擎并导出（包含源代码）
12-27
在文本中批量输入关键字，在采集器中导入关键字和需要采集的页数，批量采集百度搜索引擎中的链接地址。
C#抓取百度和谷歌的搜索结果(标题和链接) 代码整理
热门推荐
lsgy2008的专栏
04-08 1万+
<br />     这两天公司让做一个小的功能就是抓取百度和谷歌的搜索结果，把搜索到的标题和链接一一提取出来。其实页面是很好提取的，主要的问题就是正则表达式处理下载下来的页面。于是在论坛上请教了大家，在大家的帮助下，这个功能的核心代码已经完成，现在整理出来，以提供需要的人参考。<br />C# 代码：<br />using System;<br />using System.Collections.Generic;<br />using System.ComponentModel;<br />using
c#调用百度搜索
Panda
04-27 2702
1.项目上右键，添加引用 System.Web 2.using System.Web; string input=this.textBox1.Text.Trim(); webBrowser1.Navigate("http://www.baidu.com/s?wd="+HttpUtility.UrlEncode(input,Encoding.GetEncoding("gb2312")))
C#爬虫爬取百度搜索第一条的文章
永远的小白虾的博客
07-09 1671
使用C#爬虫去爬取百度搜索，由自己组合成关键词，搜索各区县的工作报告，获取到百度搜索第一条的网页，爬取上面的标题，摘要，正文。 下面只举了三个例子，如果你想多尝试一下，也可以多输入几个。 使用了两个包，HtmlAgilityPack和ScrapySharp可以在NuGet里面下载 废话不多说，开始上代码。 using System; using System.Collections.Generic...
网络爬虫快速入门及爬取百度搜索结果（附源码）
a910247的博客
04-23 5374
Postman 是一个流行的 API 测试工具，它提供了一个直观、用户友好的界面，用于创建、测试和管理 HTTP 请求和 API。无论是测试 RESTful API、SOAP 服务还是 HTTP 请求，Postman 都为开发人员、测试人员和 API 设计者提供了一个强大的平台。
写个每一个小时自动php采集百度top榜关键字，并用|分开写入txt
企业级技术与网站app运营
04-29 3751
写个每一个小时自动php采集百度top榜关键字，并用|分开写入txt, 如题： 写段php代码： 实现每隔1个小时，自动更新采集http://top.baidu.com/buzz/top10.html里面的关键字，将关键字用“|”分割写入到txt文件中。 要求完整可用， 谢谢！ txt 写入是覆盖方式， 意义就是更新里面的关键字。 <?php $str_buf
写出百度搜索结果爬虫脚本
weixin_43725622的博客
12-19 659
emmmmm 惯例百度 然而。。。。 https://blog.csdn.net/wn314/article/details/76595472 ？？？？？ 认真的要写出爬虫脚本吗 对不起真的写不出来
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值