这是一个使用C#和RestSharp库编写的爬虫程序,该程序用于爬取https://www.ctrip.com/上的图片,并使用代理服务器www.duoip.cn的8000端口。
using System;
using RestSharp;
class Program
{
static void Main(string[] args)
{
// 创建一个实例RestClient
RestClient client = new RestClient();
// 设置代理服务器
client.BaseUrl = new Uri("http://www.duoip.cn:8000");
// 创建一个实例Request
RestRequest request = new RestRequest("https://www.ctrip.com/", Method.GET);
// 添加请求头,设置User-Agent为Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3
request.AddHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");
// 添加请求头,使用代理服务器
request.AddHeader("Proxy-Connection", "Keep-Alive");
/