http下载时加Cookie

最新推荐文章于 2022-09-18 20:14:47 发布
最新推荐文章于 2022-09-18 20:14:47 发布
阅读量2.2k 收藏
点赞数

遇到在http下载时，需要加Cookie的情况.


如果一个url要匹配一个Cookie才能下载时，可以用wireshark观察类似软件可以正常下载时的发送的http请求内容。

然后修正自己的实现，直到我们可以发送正确的http请求内容.


对于多任务多线程的http下载，确实比单线程http下载块多了.

任务做完了, 整理一个Demo记录一下~. 

工程下载点 : srcHttpDownload.rar


测试程序:

/// @file       srcHttpDownload.cpp
/// @brief      记录在http下载操作中，加入Cookie的实现
/// @note       当http请求失败时，看看wireshark的抓包结果，看看服务器返回的信息
///             看看正确的http请求的发送内容，
///             修改自己的实现，一直到发送出和样例软件一样的结果就ok了

#include "stdafx.h"
#include "http_request.h"

/// @note 有些http下载是要加Cookie的，Cookie不对，会被http服务器拒绝

/// 远程url, 需要下载的目标
#define DL_URL \
    L"https://download-installer.cdn.mozilla.net/pub/" \
    L"firefox/releases/31.0/win32/en-GB/Firefox%20Setup%2031.0.exe"

/// 需要加的Cookie
#define DL_COOKIE   L"Cookie: my_cookie"

/// file save to 
#define DL_FILE_SAVE_TO L"d:\\my_dl.dat"

DWORD DownloadUrl(const WCHAR* pcUrl, const WCHAR* pcCookie, const WCHAR* pcFileSaveTo);

int _tmain(int argc, _TCHAR* argv[])
{
    DWORD   dwRc = S_FALSE;

    dwRc = DownloadUrl(DL_URL, DL_COOKIE, DL_FILE_SAVE_TO);
    _tprintf(L"download %s\r\n", (S_OK == dwRc) ? L"ok" : L"failed");

    _tprintf(L"END, press any key to quit\r\n");

    /** runresult
    >> DownloadUrl(https://download-installer.cdn.mozilla.net/pub/firefox/releases/3
    1.0/win32/en-GB/Firefox%20Setup%2031.0.exe, Cookie: my_cookie)
    downloading...
    ...
    downloading..., read back 32768/31948800 bytes
    downloading..., read back 32768/31981568 bytes
    downloading..., read back 32768/32014336 bytes
    downloading..., read back 14888/32029224 bytes
    downloading over
    download ok
    END, press any key to quit
    */

    getwchar();
	return 0;
}

DWORD DownloadUrl(const WCHAR* pcUrl, const WCHAR* pcCookie, const WCHAR* pcFileSaveTo)
{
    DWORD   dwRc = S_FALSE;
    CLsHttpRequest  Dl;

    _ASSERT(NULL != pcUrl);
    _ASSERT(NULL != pcCookie);
    _ASSERT(NULL != pcFileSaveTo);

    _tprintf(L">> DownloadUrl(%s, %s)\r\n", pcUrl, pcCookie);
    dwRc = Dl.DownloadUrl(pcUrl, pcCookie, pcFileSaveTo);

    return dwRc;
}

http请求类实现: 

/// @file       http_request.h
/// @brief      http请求的操作

#ifndef __HTTP_REQUEST_H__
#define __HTTP_REQUEST_H__

#include "stdafx.h"

#include <atlconv.h>
#include <tchar.h>
#include <string>

#include <wininet.h>
#pragma comment(lib, "wininet.lib")

#include <UrlMon.h>
#pragma comment(lib, "urlmon.lib")

#ifndef HTTP_READ_FILE_BUFFER_SIZE
    /// 32KB read once form remote
    #define HTTP_READ_FILE_BUFFER_SIZE ((long)1024 * 32)
#endif

class CLsHttpRequest
{
public:
    CLsHttpRequest();
    virtual ~CLsHttpRequest();

    DWORD DownloadUrl(
        const WCHAR* pcUrl, 
        const WCHAR* pcCookie,
        const WCHAR* pcFileSaveTo);

private:
    HINTERNET create_session();
    HINTERNET create_connect();
    HINTERNET open_request();
    DWORD send_request();
    DWORD http_read();
    void FreeResource();

    std::wstring GetSystemUserAgent();
    void GetUrlComponent(    
        const WCHAR* pcUrl, 
        std::wstring& strHost, 
        std::wstring& strObject, 
        INTERNET_SCHEME& nScheme);

    void SetHttpMaxConnectNumberEx(HINTERNET hHandle);
    BOOL add_http_headers(HINTERNET& http_request, const WCHAR * pcHttpRange);
    BOOL add_http_headers_item(HINTERNET& http_request, const WCHAR * pcHttpHeaderItem);

private:
    HINTERNET m_hSession;
    HINTERNET m_hConnect;
    HINTERNET m_http_request;

    std::wstring    m_strUrl;
    std::wstring    m_strCookie; 
    std::wstring    m_strFileSaveTo;

    std::wstring    m_strHost;
    std::wstring    m_strObject;
    INTERNET_SCHEME m_nScheme;
    DWORD           m_dwFlagOpenHttpRequest;
};

#endif // #ifndef __HTTP_REQUEST_H__



/// @file       http_request.cpp
/// @brief      ...

#include "stdafx.h"
#include <vector>
#include "http_request.h"

#ifndef SAFE_DELETE
#define SAFE_DELETE(p) \
    if (NULL != (p)) \
    { \
        delete (p); \
        (p) = NULL; \
    }
#endif

#ifndef SAFE_CLOSE_HANDLE
#define SAFE_CLOSE_HANDLE(h) \
    if (NULL != (h)) \
    { \
        CloseHandle((h)); \
        (h) = NULL; \
    }
#endif

/// @note http 操作形成的句柄, 关闭时要用 InternetCloseHandle
/// 如果用 CloseHandle, 会崩溃
#ifndef SAFE_CLOSE_HTTP_HANDLE
#define SAFE_CLOSE_HTTP_HANDLE(h) \
    if (NULL != (h)) \
    { \
    InternetCloseHandle((h)); \
    (h) = NULL; \
    }
#endif

CLsHttpRequest::CLsHttpRequest()
{
    m_hSession = NULL;
    m_hConnect = NULL;
    m_http_request = NULL;

    m_strUrl = L"";
    m_strCookie = L"";
    m_strFileSaveTo = L"";

    m_strHost = L"";
    m_strObject = L"";
    m_nScheme = INTERNET_SCHEME_UNKNOWN;

    /// 需要指定 INTERNET_FLAG_NO_COOKIES, 才能使用自己的Cookie !!!
    m_dwFlagOpenHttpRequest = INTERNET_FLAG_RELOAD | INTERNET_FLAG_NO_COOKIES /*| INTERNET_FLAG_NO_CACHE_WRITE*/;
}

CLsHttpRequest::~CLsHttpRequest()
{
    FreeResource();
}

void CLsHttpRequest::FreeResource()
{
    SAFE_CLOSE_HTTP_HANDLE(m_http_request);
    SAFE_CLOSE_HTTP_HANDLE(m_hConnect);
    SAFE_CLOSE_HTTP_HANDLE(m_hSession);
}

DWORD CLsHttpRequest::DownloadUrl(
    const WCHAR* pcUrl, 
    const WCHAR* pcCookie,
    const WCHAR* pcFileSaveTo)
{
    DWORD   dwRc = S_FALSE;

    if ((NULL == pcUrl)
        || (NULL == pcFileSaveTo))
    {
        goto END_DownloadUrl;
    }

    m_strUrl = pcUrl;
    m_strFileSaveTo = pcFileSaveTo;
    m_strCookie = (NULL != pcCookie) ? pcCookie : L"";

    if (NULL == create_session())
        goto END_DownloadUrl;

    if (NULL == create_connect())
        goto END_DownloadUrl;

    if (NULL == open_request())
        goto END_DownloadUrl;

    if (S_OK != send_request())
        goto END_DownloadUrl;

    if (S_OK != http_read())
        goto END_DownloadUrl;

    dwRc = S_OK;

END_DownloadUrl:
    FreeResource();
    return dwRc;
}

std::wstring CLsHttpRequest::GetSystemUserAgent()
{
    USES_CONVERSION;
    DWORD  n = 1024;
    char   t[1024] = {0};

    ObtainUserAgentString(0, t, &n);
    return A2W(t);
}

HINTERNET CLsHttpRequest::create_session()
{
    if (NULL == m_hSession)
    {
        m_hSession = InternetOpen(
            GetSystemUserAgent().c_str(),
            INTERNET_OPEN_TYPE_DIRECT, // INTERNET_OPEN_TYPE_PRECONFIG,
            NULL,
            NULL,
            0);
    }

    return m_hSession;
}

HINTERNET CLsHttpRequest::create_connect()
{
    INTERNET_PORT       nPort = INTERNET_DEFAULT_HTTP_PORT;

    _ASSERT(m_strUrl.size() > 0);
    GetUrlComponent(m_strUrl.c_str(), m_strHost, m_strObject, m_nScheme);
    if (INTERNET_SCHEME_HTTPS == m_nScheme)
    {
        nPort = INTERNET_DEFAULT_HTTPS_PORT;
    }

    _ASSERT(NULL != m_hSession);
    m_hConnect = InternetConnect(
        m_hSession, 
        m_strHost.c_str(), 
        nPort, 
        NULL, 
        NULL, 
        INTERNET_SERVICE_HTTP, 
        0, 
        1);

    if (NULL != m_hConnect)
    {
        /// 试验过了, 在程序开始设置 HINTERNE 为NULL, 那种http连接数, 是没用的
        /// 只有在InternetConnect 所在线程中, 对有效httpConnect设置指定连接数, 才有效
        SetHttpMaxConnectNumberEx(m_hConnect);
    }

    return m_hConnect;
}

void CLsHttpRequest::GetUrlComponent(
    const WCHAR* pcUrl, 
    std::wstring& strHost, 
    std::wstring& strObject, 
    INTERNET_SCHEME& nScheme)
{
    BOOL                bRc = FALSE;
    DWORD               dwBufferSize = 0;
    URL_COMPONENTS      uc;
    std::vector<TCHAR>  vec1;
    std::vector<TCHAR>  vec2;

    _ASSERT(NULL != pcUrl);

    ZeroMemory(&uc, sizeof(uc));
    dwBufferSize = _tcslen(pcUrl) + sizeof(WCHAR);
    vec1.resize(dwBufferSize, (TCHAR)0);
    vec2.resize(dwBufferSize, (TCHAR)0);

    uc.dwStructSize = sizeof(uc);
    uc.lpszHostName = &vec1[0];
    uc.dwHostNameLength = dwBufferSize;
    uc.lpszUrlPath = &vec2[0];
    uc.dwUrlPathLength = dwBufferSize;

    bRc = InternetCrackUrl(pcUrl, _tcslen(pcUrl), 0, &uc);
    _ASSERT(bRc);

    strHost = &vec1[0];
    strObject = &vec2[0];
    nScheme = uc.nScheme;
}

void CLsHttpRequest::SetHttpMaxConnectNumberEx(HINTERNET hHandle)
{
    BOOL    bRc = FALSE;
    DWORD   dwErr = 0;
    DWORD   dwHttpConnectMax = 50/*5 * 5 * 2 + 10*/; ///< (5条任务，一个任务5条线程) * 2 + 10(备用数目)

    DWORD   dwRecvBufLen = 0;

    /// 设置不成功, 设置成功的，取出来还是原来的值.
    bRc = InternetSetOption(hHandle,INTERNET_OPTION_MAX_CONNS_PER_SERVER,&dwHttpConnectMax,sizeof(DWORD));
    dwErr = ::GetLastError();
    //    _ASSERT(bRc); ///< 虽然为FALSE, 但是已经有效果了

    bRc = InternetSetOption(hHandle,INTERNET_OPTION_MAX_CONNS_PER_1_0_SERVER,&dwHttpConnectMax,sizeof(DWORD));
    dwErr = ::GetLastError();
    //    _ASSERT(bRc);  ///< 虽然为FALSE, 但是已经有效果了

    /// 这里得到的连接数, 也是旧的, 但是从程序运行效果上看，已经生效了
}

HINTERNET CLsHttpRequest::open_request()
{
    const WCHAR * szAcceptTypes[] = {L"*/*", NULL};

    if (INTERNET_SCHEME_HTTPS == m_nScheme)
    {
        m_dwFlagOpenHttpRequest |= INTERNET_FLAG_SECURE ;
    }

    _ASSERT(NULL != m_hConnect);
    m_http_request = HttpOpenRequest(
        m_hConnect, 
        L"GET",
        m_strObject.c_str(), 
        L"HTTP/1.1", 
        NULL, 
        szAcceptTypes, 
        m_dwFlagOpenHttpRequest, 
        1);

    return m_http_request;
}

BOOL CLsHttpRequest::add_http_headers_item(HINTERNET& http_request, const WCHAR * pcHttpHeaderItem)
{
    BOOL            bRc = FALSE;
    DWORD           dwRc = 0;

    _ASSERT(NULL != pcHttpHeaderItem);

    bRc = ::HttpAddRequestHeaders(
        http_request, 
        pcHttpHeaderItem, 
        -1, 
        HTTP_ADDREQ_FLAG_ADD|HTTP_ADDREQ_FLAG_REPLACE);
    dwRc = ::GetLastError();
    _ASSERT(bRc);

    return bRc;
}

BOOL CLsHttpRequest::add_http_headers(HINTERNET& http_request, const WCHAR * pcHttpRange)
{
    std::wstring    strTmp = L"";
    BOOL            bRc = FALSE;
    DWORD           dwErrSn = 0;

    strTmp = L"Accept: */*";
    bRc = add_http_headers_item(http_request, strTmp.c_str());
    _ASSERT(bRc);

    strTmp = L"Connection: keep-alive";
    bRc = add_http_headers_item(http_request, strTmp.c_str());
    _ASSERT(bRc);

    strTmp = L"Host: ";
    strTmp += m_strHost.c_str();
    bRc = add_http_headers_item(http_request, strTmp.c_str());
    _ASSERT(bRc);

    if (NULL != pcHttpRange)
    {
        strTmp = pcHttpRange;
        bRc = add_http_headers_item(http_request, strTmp.c_str());
        _ASSERT(bRc);
    }

    /// 需要保留 user agent，可以增加下载速度
    strTmp = L"User-Agent: ";
    strTmp += GetSystemUserAgent().c_str();
    bRc = add_http_headers_item(http_request, strTmp.c_str());
    _ASSERT(bRc);

    strTmp = L"Content-Length: 0";
    bRc = add_http_headers_item(http_request, strTmp.c_str());
    _ASSERT(bRc);

    /// 加入自己的Cookie !!!
    strTmp = m_strCookie.c_str();
    bRc = add_http_headers_item(http_request, strTmp.c_str());
    _ASSERT(bRc);

    return TRUE;
}

DWORD CLsHttpRequest::send_request()
{
    BOOL            bRc = FALSE;

    _ASSERT(NULL != m_http_request);
    add_http_headers(m_http_request, L"Range: bytes=0-\r\n");

    bRc = ::HttpSendRequest(
        m_http_request, 
        NULL,
        0,
        NULL, 
        0);

    return bRc ? S_OK : S_FALSE;
}

DWORD CLsHttpRequest::http_read()
{
    BOOL        bReadOkOnce = FALSE;
    BYTE*       pcBufRead = new BYTE[HTTP_READ_FILE_BUFFER_SIZE];
    _ASSERT(NULL != pcBufRead);
    BOOL        bReadResult = FALSE;
    DWORD       dwReadBack = 0;
    LONGLONG    llRdBackTotal = 0;

    _tprintf(L"downloading...\r\n");
    while (true)
    {
        bReadResult = InternetReadFile(
            m_http_request, 
            pcBufRead, 
            HTTP_READ_FILE_BUFFER_SIZE, 
            &dwReadBack);

        if (bReadResult && (dwReadBack > 0))
        {
            bReadOkOnce = TRUE;
            llRdBackTotal += dwReadBack;
            _tprintf(L"downloading..., read back %d/%I64d bytes\r\n", 
                dwReadBack, 
                llRdBackTotal);

            /// @todo
            /// please cat pcBufRead[0] ~ pcBufRead[dwReadBack - 1] to disk file m_strFileSaveTo
        }
        else
        {
            break;
        }
    }

    _tprintf(L"downloading over\r\n");

END_proc_http_request:
    SAFE_DELETE(pcBufRead);
    return bReadOkOnce ? S_OK : S_FALSE;
}





LostSpeed
关注
获取http请求的cookie的工具类：CookieUtils
万米高空的博客
05-07 1283
Cookie: _ga=GA1.2.1692559921.1545632760; __jdu=2f2a2553-017e-4fa0-8f9c-b327655ea082; provinceCode=11; provinceName=%E5%8C%97%E4%BA%AC%E5%B8%82; __jda=86320733.15463990428281681937799.1546399043.1547...
fetch 自动加cookie_Fetch API 教程
weixin_29708043的博客
12-31 1787
fetch()是 XMLHttpRequest 的升级版，用于在 JavaScript 脚本里面发出 HTTP 请求。浏览器原生提供这个对象。本文详细介绍它的用法。一、基本用法fetch()的功能与 XMLHttpRequest 基本相同，但有三个主要的差异。(1)fetch()使用 Promise，不使用回调函数，因此大大简化了写法，写起来更简洁。(2)fetch()采用模块化设计，API 分散...
httpUtil httpclient 登陆携带cookie访问下一个连接
10-24
Java，通过 httpclient 获取 cookie 模拟登录 ，登录后携带cookie发起下一个请求
httpwebrequest 模拟登录 获取cookies 以前的代码,记录备忘!
weixin_30920513的博客
07-29 206
2个类,一个基类,一个构建头信息调用类 关于如何获取到post中的内容,你之需要用http抓包工具把你与目标网站的请求信息抓下来后,打开分析下按照抓下来的包中的数 据进行构建就行了using System; using System.Collections.Generic; using System.Text; using System.Net; using System...
c实现的iOS http下载类。支持自己设定http 头（比如cookie等）
weixin_30512785的博客
10-21 84
也许有人要问为什么要自己用c写？ 原因是： 1 我是菜鸟 2 我最最初选择了AsyncSocket，弄了很久，基本上稳定了，但有时候出现了数据不完整，但我又没办法在这个时候识别到并重试；所以不完美，最后放弃 3 我又用NSMutableURLRequest+NSURLConnection，这个玩意儿能帮你处理不定长度的返回内容，但有2个问题：a、修改Connection为close...
okhttputils 操作cookie
yechaoa
04-11 1590
本文只记录于鸿洋的okhttputils，其他框架只具有参考价值。 cookie持久化 CookieJarImpl cookieJar = new CookieJarImpl(new PersistentCookieStore(YUtils.getApplication())); OkHttpClient okHttpClient = new OkHttpClien...
cookie_cookie_
09-30
在Delphi中，开发者可以使用HTTP组件（如TIdHTTP）来与Web服务器进行交互，并处理服务器返回的Cookie。 从压缩包的文件名列表中，我们可以推测项目的一些关键组成部分： 1. Project1.cfg：这是Delphi项目的配置...
用于处理cookie的php类.zip
07-11
- 在需要读取Cookie时，可以调用`getCookie`方法，如`$username = $cookieHandler->getCookie('username');`。 - 要删除Cookie，使用`deleteCookie`方法，如`$cookieHandler->deleteCookie('username');`。 - 在...
php对Cookie进行基本操作的类.zip
07-11
6. **异常处理**：为了提高代码的健壮性，类可能会包含错误处理机制，比如当解密失败或者设置Cookie时遇到问题时抛出异常。 使用此类，开发者可以在他们的PHP应用程序中更加灵活地控制Cookie，而不必每次都手动处理...
Linux环境使用wget下载需要Cookie认证的文件
爱吃瓜子的糖的博客
06-22 2070
1、在使用LInux环境使用Wget命令下载资源时候我们会遇到需要 Cookie认证的文件，直接附资源链接无法下载，需要在wget 命令附参数才可以下载；2、浏览器F12-网络-标头，查看Cookie；3、Linux下载附带Cookie，命令如下； 4、通过上诉方式就可以下载需要Cookie认证的资源；...
Qt学习笔记——爬虫，利用cookie信息绕过登录爬取http协议网站内容
Saqino的博客
04-05 1999
本来是想做一个爬取路由器ip数据的小爬虫，但奈何获取不来数据，百度了之后说是路由器网页是动态网页，无法爬取，个人对这方面不是很了解。 这边的demo爬取的数据是D站个人信息页面的数据 虽然还不知道有啥具体作用，先记下笔记吧 需要的头文件： QNetworkAccessManager 网络操作类 QNetworkReply 接收数据的类 ...
http工具类免登录调用当前系统的接口（session方式，可以拓展为token方式），以及调用第三方接口，手动给httpClient设置cookie
睡竹的博客
08-29 2075
http工具类免登录调用当前系统的接口（session方式，可以拓展为token方式），以及调用第三方接口，手动给httpClient设置cookie
HTTP&Cookie
Asteria1437的博客
09-18 216
常见请求方式：GET/HEAD/POST/PUT。请求URL：/aaa/index.html。请求头（Request Header）请求方法：GET/POST。协议、版本 状态码 描述。
CookieUtil
huiban123的博客
04-22 315
package Util; /** * Cookie工具类，提供了添加，删除，查询cookie的一些方法 */ import java.io.UnsupportedEncodingException; import java.net.URLDecoder; import java.net.URLEncoder; import javax.servlet.http.Cookie; import...
httpUtil
qq_41031396的博客
05-25 268
url 解析工具 package org.iam.commpoment.timertask.demo; import net.sf.json.JSONObject; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.http.HttpResponse; import org.apache.http.client.CookieStore; impo.
Http请求带cookie
半拾
10-28 2156
package com.zhubu.course.util.http;import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.net.URL; import java.net.URL
cookie（一）http.cookiejar模块：两种方法实现模拟登录、cookie本地保存和加载
Wjf7496的博客
11-20 3442
一、cookie基本概念介绍 二、cookie模拟登录 """" 访问一个需要登录的网站需要加入cookie在headers中 以访问知乎热榜https://www.zhihu.com/hot为例 不登录无法访问热榜的内容 ：从程序控制台输出的网页内容中ctrl+F查找网页中复制的内容 发现找不到，即使我们在headers中加了User-Agent也访问不了热榜内容 解决方法一： headers中加入从https://www.zhihu.com/hot网页复制的cookie 注意仅仅在 hea
HttpClient 模拟登录携带Cookie去搞事情
百世经纶『一页書』
11-17 4126
HttpClient 模拟登录携带Cookie
Http Cookies 常用设置
Yaxma的博客
11-18 1002
一、如何获取响应Cookies，例如登录返回的Cookies？List<String> cookieList = new ArrayList<String>(); if (httpResponse.getHeaders("Set-Cookie") != null) { Header[] headers = httpResponse.getHeaders("Set-Cookie");
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值