C# 爬虫 100个明星贴吧

最新推荐文章于 2024-03-19 16:08:32 发布
最新推荐文章于 2024-03-19 16:08:32 发布
阅读量2.8k 收藏
点赞数
分类专栏： C# 文章标签： C# 爬虫
本博客所有公开的原创博文皆允许转载，无须再征求作者本人（也就是我）同意
本文链接：https://blog.csdn.net/for_cxc/article/details/51434127
版权

每个吧  第一页 

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

namespace ConsoleApplication8
{
    class Program
    {
        public static List<MSG> lmsg = new List<MSG>();
        static string GetMsg(string url)
        {
            string s = "";
            HttpWebRequest request = null;
            HttpWebResponse response = null;
            request = (HttpWebRequest)WebRequest.Create(url);
            request.Method = "GET";
            request.Host = "tieba.baidu.com";
            request.KeepAlive = true;
            CookieContainer cn = new CookieContainer();
            cn.Add(new Cookie("TIEBA_USERTYPE", "3b218806e82b3aa0fd2ae7dc", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("bdshare_firstime", "1461572415344", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("TIEBAUID", "ab202a741c5a937664dafb46", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BAIDUID", "AA783FFD52E477A7C8D25BBBFA49313D:FG=1", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("PSTM", "1462440736", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BIDUPSID", "878F94DD4B53B4C29C2452AC7256AD78", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("LONGID", "1759463301", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("H_PS_PSSID", "19636_20023_19685_1436_12897_17948_19570_19805_19558_19808_19842_17001_15294_11963", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("wise_device", "0", "/", ".tieba.baidu.com"));
            request.CookieContainer = cn;
            request.ContentType = "application/x-www-form-urlencoded";
            response = (HttpWebResponse)request.GetResponse();
            StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
            s = sr.ReadToEnd();
            sr.Close();
            request.Abort();
            response.Close();
            return s;
        }
        static string GetMsg1(string url)
        {
            string s = "";
            HttpWebRequest request = null;
            HttpWebResponse response = null;
            request = (HttpWebRequest)WebRequest.Create(url);
            request.Method = "GET";
            request.Host = "tieba.baidu.com";
            request.KeepAlive = true;
            CookieContainer cn = new CookieContainer();
            cn.Add(new Cookie("userFromPsNeedShowTab", "1", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("TIEBA_USERTYPE", "3b218806e82b3aa0fd2ae7dc", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("bdshare_firstime", "1461572415344", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("TIEBAUID", "ab202a741c5a937664dafb46", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BAIDUID", "AA783FFD52E477A7C8D25BBBFA49313D:FG=1", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("PSTM", "1462440736", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BIDUPSID", "878F94DD4B53B4C29C2452AC7256AD78", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("LONGID", "1759463301", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("H_PS_PSSID", "19636_20023_19685_1436_12897_17948_19570_19805_19558_19808_19842_17001_15294_11963", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("wise_device", "0", "/", ".tieba.baidu.com"));
            request.CookieContainer = cn;
            request.ContentType = "application/x-www-form-urlencoded";
            response = (HttpWebResponse)request.GetResponse();
            StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
            s = sr.ReadToEnd();
            sr.Close();
            request.Abort();
            response.Close();
            return s;
        }
        static string GetMsg2(string url)
        {
            string s = "";
            HttpWebRequest request = null;
            HttpWebResponse response = null;
            request = (HttpWebRequest)WebRequest.Create(url);
            request.Method = "GET";
            request.Host = "tieba.baidu.com";
            request.KeepAlive = true;
            CookieContainer cn = new CookieContainer();
            cn.Add(new Cookie("TIEBA_USERTYPE", "3b218806e82b3aa0fd2ae7dc", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("bdshare_firstime", "1461572415344", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("TIEBAUID", "ab202a741c5a937664dafb46", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BAIDUID", "AA783FFD52E477A7C8D25BBBFA49313D:FG=1", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("PSTM", "1462440736", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BIDUPSID", "878F94DD4B53B4C29C2452AC7256AD78", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("LONGID", "1759463301", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("BDRCVFR[6bMcVWaYtEt]", "mk3SLVN4HKm", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("H_PS_PSSID", "17948", "/", ".tieba.baidu.com"));
            cn.Add(new Cookie("wise_device", "0", "/", ".tieba.baidu.com"));
            request.CookieContainer = cn;
            request.ContentType = "application/x-www-form-urlencoded";
            response = (HttpWebResponse)request.GetResponse();
            StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
            s = sr.ReadToEnd();
            sr.Close();
            request.Abort();
            response.Close();
            return s;
        }
        static List<string> GetURL(string ss)
        {
            List<string> urllist = new List<string>();
            List<string> tmp = new List<string>();
            string s = ss;
            Regex rgx = new Regex(" j_thread_list clearfix");
            tmp = rgx.Split(s).Skip(1).ToList();

            foreach(string str in tmp)
            {
                urllist.Add("http://tieba.baidu.com/p/" + str.Split(',')[0].Split(':')[1]);
            }  
            return urllist;
        }
        static void Main(string[] args)
        {
            List<string> url = new List<string>();
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=bigbang&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=exo&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%B0%91%E5%A5%B3%E6%97%B6%E4%BB%A3&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=tfboys&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E7%8E%8B%E5%87%AF&fr=search"); //王凯吧
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%9C%8D%E5%BB%BA%E5%8D%8E&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%BD%AD%E4%BA%8E%E6%99%8F&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E6%98%93%E5%B3%B0&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%A8%E6%B4%8B&fr=search");
            url.Add("http://tieba.baidu.com/f?kw=maroon5&ie=utf-8");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%82%93%E7%B4%AB%E6%A3%8B&fr=search");//邓紫棋吧
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%91%A8%E6%9D%B0%E4%BC%A6&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=T-ara&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=2NE1&fr=search"); //2ne1吧
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=4minute&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=CNBLUE&fr=search");//cnblue
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=WINNER&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Apink&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=AOA&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%BC%A0%E6%83%A0%E5%A6%B9&fr=search");//张惠妹
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=girlsday");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%98%B2%E5%BC%B9%E5%B0%91%E5%B9%B4%E5%9B%A2&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%99%88%E5%A5%95%E8%BF%85&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9E%97%E4%BF%8A%E6%9D%B0&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%BC%A0%E9%9D%93%E9%A2%96&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%A2%81%E9%9D%99%E8%8C%B9&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E4%BA%94%E6%9C%88%E5%A4%A9&fr=search");//五月天
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%8B%8F%E6%89%93%E7%BB%BF&fr=search");//苏打绿
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=justinbieber");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Eminem&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=brunomars");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=samsmith");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=clarkson");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Rihanna&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%87%AF%E8%92%82%E6%B4%BE%E7%91%9E");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=hebe");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Taylor%20Swift&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Ariana%20Grande&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Adele&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=jessiej");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E8%8D%A3%E6%B5%A9&fr=search");//李荣浩
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%88%98%E4%BA%A6%E8%8F%B2&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%AD%99%E7%87%95%E5%A7%BF&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%8C%83%E5%86%B0%E5%86%B0&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%83%A1%E6%AD%8C&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%AE%8B%E4%BD%B3&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%B5%B5%E4%B8%BD%E9%A2%96&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%99%88%E5%9D%A4&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%B4%BE%E4%B9%83%E4%BA%AE&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%BB%84%E8%87%B4%E5%88%97&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%88%98%E6%B6%9B&fr=search");//刘涛
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%92%8B%E6%AC%A3&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%9D%B3%E4%B8%9C&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E6%98%93%E5%B3%B0&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%AD%99%E4%BF%AA&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%AB%98%E5%9C%86%E5%9C%86&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%96%9B%E4%B9%8B%E8%B0%A6&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E7%8E%8B%E5%AD%90%E6%96%87&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E4%BD%95%E7%82%85&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%82%93%E8%B6%85&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%B9%BF%E6%99%97&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=angelababy");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%B0%A2%E5%A8%9C&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%BC%A0%E8%89%BA%E5%85%B4&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%B2%B3%E4%BA%91%E9%B9%8F&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%90%B4%E4%BA%A6%E5%87%A1&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E7%8E%8B%E5%98%89%E5%B0%94&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%B5%B5%E8%96%87&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E7%8E%8B%E5%8A%9B%E5%AE%8F&fr=search");//赵薇
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%BF%AA%E4%B8%BD%E7%83%AD%E5%B7%B4&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E7%8E%8B%E7%A5%96%E8%93%9D&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E5%86%B0%E5%86%B0&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%AE%8B%E8%8C%9C&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9E%97%E6%9B%B4%E6%96%B0");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E4%BA%95%E6%9F%8F%E7%84%B6&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%80%AA%E5%A6%AE&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%A7%9A%E6%99%A8&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%83%AD%E7%A2%A7%E5%A9%B7&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%88%98%E8%AF%97%E8%AF%97&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%88%98%E7%83%A8&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E9%8D%BE%E7%A2%A9&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%87%91%E9%92%9F%E5%9B%BD&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%99%88%E6%99%93&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9D%8E%E5%85%89%E6%B4%99&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%B0%8FS&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%88%92%E6%B7%87&fr=search");//舒淇
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9C%B4%E6%B5%B7%E9%95%87&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%BC%B5%E6%99%BA%E9%9C%96&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=jessica");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%99%B3%E6%9F%8F%E9%9C%96&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%94%A1%E5%BA%B7%E6%B0%B8&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%A2%81%E5%92%8F%E4%BB%AA&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%94%A1%E5%8D%93%E5%A6%8D&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E9%8D%BE%E6%AC%A3%E6%BD%BC&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E8%94%A1%E4%BE%9D%E6%9E%97&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=Gary&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%86%AF%E7%BB%8D%E5%B3%B0&fr=search");//冯绍峰
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E5%AD%99%E7%BA%A2%E9%9B%B7");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%85%E5%BF%97%E7%A5%A5&fr=search");
            url.Add("http://tieba.baidu.com/f?ie=utf-8&kw=%E6%9E%97%E5%BF%83%E5%A6%82&fr=search");//林心如

            //多线程执行   4核速度快4倍   大约30分钟跑完
            url.AsParallel().ForAll(s=> {
                get_one(s);
            });
        }  
        static void get_one(string url)
        {
            string res1 = GetMsg(url);   //进入一个贴吧（比如：王祖蓝吧）的html信息
            List<string> url_list = GetURL(res1);  //一个贴吧（比如：王祖蓝吧）的所有帖子指向的链接list
            
            //string res2 = GetMsg1(url_list[13]);
            //DateTime time_tmp = get_time(res2);
            List<string> tmp = new List<string>(); //暂时存储第一页所有帖子的html信息 大约占用空间不超过40M
            foreach(string _url in url_list)
            {
                tmp.Add(GetMsg1(_url));           //所有帖子的html信息获取完毕
            }
            DateTime time_tmp = DateTime.MinValue;
            string res2 = "";
            foreach (string _tmp in tmp)
            {
                DateTime dt = get_time(_tmp);
                if (DateTime.Compare(time_tmp, dt) < 0)
                {
                    time_tmp = dt;
                    res2 = _tmp;
                }
            }                                    //选出最大时间 以及对应的帖子   
            
            //============================================处理需要数据======================
            MSG no1 = new MSG();
            no1.time = time_tmp;
            no1.avatar_url = get_avatar_url(res2);
            no1.nickname = get_nickname(res2);
            no1.sex = get_sex("http://tieba.baidu.com/home/get/panel?ie=utf-8&un=" + no1.nickname);
            no1.msg = get_msg(res2);
            no1.img_list = get_img_list(res2);

            lmsg.Add(no1);
        }
        static DateTime get_time(string ss)
        {
            string s = ss;
            Regex rgx = new Regex("l_post j_l_post l_post_bright noborder ");
            s = rgx.Split(s)[1];
            rgx = new Regex("date":"");
            s = rgx.Split(s)[1]; 
            rgx = new Regex("&");
            s = rgx.Split(s)[0].Trim();
            DateTime time = DateTime.Parse(s);
            return time;
        }
        static string get_avatar_url(string ss)
        {
            string s = ss;
            Regex rgx = new Regex("username=\"");
            s = rgx.Split(s)[1];
            rgx = new Regex("src=\"");
            s = rgx.Split(s)[1];
            rgx = new Regex("\"");
            s = rgx.Split(s)[0];
            return s;
        }
        static string get_nickname(string ss)
        {
            string s = ss;
            Regex rgx = new Regex("username=\"");
            s = rgx.Split(s)[1];
            rgx = new Regex("\"");
            s = rgx.Split(s)[0];
            return s;
        }
        static string get_sex(string ss)
        {
            string s = GetMsg2(ss);
            Regex rgx = new Regex("sex\":\"");
            s = rgx.Split(s)[1];
            rgx = new Regex("\"");
            s = rgx.Split(s)[0];
            return s;
        }
        static string get_msg(string ss)
        {
            string s = ss;
            Regex rgx = new Regex("d_post_content j_d_post_content  clearfix\">");
            s = rgx.Split(s)[1];
            rgx = new Regex("</div>");
            s = rgx.Split(s)[0].Trim().Replace("<br>", "\\n");
            rgx = new Regex("<img[\\S\\s]{50,280}>");
            s = rgx.Replace(s, "");
            rgx = new Regex("<a[\\S\\s]{50,300}\">");
            s = rgx.Replace(s, "");
            rgx = new Regex("</a>");
            s = rgx.Replace(s, "");
            return s;
        }
        static List<string> get_img_list(string ss)
        {
            List<string> img_list = new List<string>();
            List<string> tmp = new List<string>();
            string s = ss;
            Regex rgx = new Regex("d_post_content j_d_post_content  clearfix\">");
            s = rgx.Split(s)[1];
            rgx = new Regex("</div>");
            s = rgx.Split(s)[0].Trim().Replace("<br>", "\\n");
            rgx = new Regex("http://imgsrc.baidu.com[\\S\\s]{50,240}g\"");
            MatchCollection mc = rgx.Matches(s);
            foreach(var str in mc)
            {
                tmp.Add(str.ToString());
            }
            rgx = new Regex("\"");
            foreach (string str in tmp)
            {
                img_list.Add(rgx.Replace(str,""));
            }
            return img_list;
        }
    }
    class MSG
    {
        public DateTime time { get; set; }
        public string avatar_url { get; set; }
        public string nickname { get; set; }
        public string sex { get; set; }
        public string msg { get; set; }
        public List<string> img_list { get; set; }
    }
}

 最新时间的帖子信息


Rand Tsui
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
C#爬虫工具源码.rar
10-08
12. 支持一个任务多实例运行； 13. 提供计划任务，计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中)； 14. 计划任务执行周期支持每天、每周及自定义运行间隔；最小单位为：半...
爬虫实践： 获取百度贴吧内容
zhusongziye的博客
06-19 1141
原文链接：https://www.jianshu.com/p/ca6daafe80e9 本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。 本次要爬的贴吧是<< 西部世界 >>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。 贴吧地址 : https://t...
C#生成随机字符串
网络Online
06-30 3933
///<summary> ///生成随机字符串//转载请注明来自 http://www.uzhanbao.com ///</summary> ///<param name="length">目标字符串的长度</param> ///<param name="useN...
C#实战分享--爬虫的基础原理及实现
最新发布
借雨醉东风的博客
03-19 3772
以实际的代码案例，分享博主如何写Spider的过程。
使用C#语言做爬虫代码示例
weixin_44617651的博客
10-20 707
我们在使用爬虫ip在请求网站时，经常会遇到失败的情况，如果排除爬虫ip方面的问题，那么可能就是自己写的爬虫代码问题了。可提供关于异常的多种异常信息，匹配指定的异常或派生自它的异常类的异常。通过异常实例，可得到异常的详细信息。在C#中有很多不同类型的异常可能被发生，关于catch()有三种形式，可以处理不同级别的异常。这里需要特别说明下，关于finally中的代码，不管异常是否被捕获，它都会被执行。能接受任何异常，但不能确认引起异常的类型。把一个异常类的名称作为参数，匹配该指定类或派生自它的异常类的异常。
HTTP 状态码
岁月如歌
10-30 621
100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。 101： 转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。 102：继续处理 由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。 200：请求成功 处
Python爬虫_Cookie
苦涩
10-20 871
文章目录Cookie状态管理Cookie处理 Cookie状态管理 由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。怎么办呢？就给客户端们颁发一个通行证吧，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理 Cookie和Session都用来保存状态信息，都是保存客户端状态的机制，它们都是为了解决HTTP无状态的问题...
c#爬虫源码-vs2010下运行
12-10
针对爬虫程序，我这里用C#也写了一下。相比较而言，c#的程序比较原始一些。
C# 爬虫接口
01-30
C#C/S 写的 爬虫接口，支持接口，网页，文件资源下载等数据下载！ 具体可参考博客地址：http://blog.csdn.net/qq237183141/article/details/79208909
C# 来爬虫实现的一个ChatGPT API
11-23
C# 来爬虫实现的一个ChatGPT API
C#爬虫获取网页中表格数据
06-20
C#爬虫获取网页中表格数据，正则表达式匹配表格，含爬虫完整代码
c#百度贴吧采集源码
12-29
c#百度贴吧采集源码
C#网络编程全面教程（c#爬虫）
09-30
1. WebClient类 1 (1) WebClient类的主要方法 1 (2) DownloadData()方法 1 (3) OpenRead()方法 1 (4) UploadData()方法 1 (5) 总结WebClient类 2 2. WebRequest类与WebResponse类 2 (1) WebRequest类与WebResponse类简介 2 (2) 使用示例 2 (3) WebRequest类与WebResponse类的子类(继承结构) 2 (4) HttpWebRequest类与HttpWebResponse类使用示例 2 (5) 身份验证 2 (6) 使用代理 2 (7) 异步请求 2 3. WebBrowser控件 3 (1) 使用WebBrowser控件 3 (2) WebBrowser控件常用属性、方法与事件 3 4. 网络工具类(URL、IP、DNS) 3 (1) Uri与UriBuilder 3 (2) IPAddress、IPHostEntry 与Dns 3 (3) 解码与编码(Encoding) 4 5. 底层的网络协议类 4 (1) Socket 4 (2) NetworkStream、TcpClient与TcpListener 5 (3) UdpClient 5 (4) SmtpClient 5
我的贴吧c#。net
06-18
我的贴吧c#。net<br><br>我的贴吧c#。net
C#开发网络爬虫
07-23
对现在所有的主流平台爬取是没任何问题！
贴吧图片爬虫
08-20
运行后输入百度贴吧帖子的地址，可以爬整个帖子的图片
【爬虫高阶】制作百度纯净版搜索引擎
lys_828的博客
04-20 1430
制作百度纯净版搜索引擎1. 网页爬虫初探2. 页面分析3. 信息爬取 1. 网页爬虫初探 常用的一套模板 import requests from bs4 import BeautifulSoup headers = {'cookie':'BIDUPSID=82508FD9E8C7F366210EB75A638DF308; PSTM=1567074841', 'User-Agent': ...
C#实现简单爬虫
热门推荐
qq_40198590的博客
09-28 1万+
爬虫算是第一个小任务吧，因为每天要统计数据，比较繁琐，如果有一个程序能帮助我，解决这个问题就好了。 首先 要知道爬虫的流程 1、发送请求 2、响应数据 3、处理数据 4、存入数据库 也要看你要爬那个网站的信息，知道每个请求头里面包含哪些需要的内容，打开网页F12就能看到，苹果电脑就Fn+F12 我们要的cookie也在这里???? 先从第一步入手，发送请求，一个url，然后就第二步响应了数据返回一个json格式的字符串。 //这个url是你要爬的地址 public static str
C#爬虫抓取网站后台数据
09-08
以下是一个基本的步骤指南： 1. 首先，您需要使用C#的网络请求库，例如HttpClient，来发送HTTP请求到目标网站。您可以使用GET或POST方法发送请求，并传递必要的参数。 2. 接下来，您可以使用HTML解析库，例如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值