socket http编程(用socket编程实现http网页下载)

最新推荐文章于 2024-07-23 14:50:24 发布
最新推荐文章于 2024-07-23 14:50:24 发布
阅读量3.9k 收藏
点赞数
分类专栏： C/C++ windows编程 文章标签： socket 编程 null authorization download function 

72.HTTP下载

//HttpDownload.h

#ifndef _HTTPDOWNLOAD_H

#define _HTTPDOWNLOAD_H



//#include "InitSock.h"



//static  CInitSock  initsock;



/************************************************************************

Description:  Base64编码、解码类

Function:     可用于解决http协议的授权验证问题

************************************************************************/

class  CBase64

{

private:

 CBase64();

 ~CBase64();

 CBase64(const CBase64&);

 CBase64& operator = (const CBase64&);



public:

    static  int  Base64Encode(LPCTSTR lpszEncoding, CString& strEncoded);

    static  int  Base64Decode(LPCTSTR lpszDecoding, CString& strDecoded);



public:

 static  int  s_nBase64Mask[];

 static  CString s_strBase64TAB;

};



/************************************************************************

Description: 用http协议下载文件

Function:    支持http下载文件,用socket实现, 简单的非阻塞超时机制

************************************************************************/

class CHttpDownload

{

public:

 CHttpDownload();

 ~CHttpDownload();



public:

 enum 

 { 

  DEFAULT_PORT = 80 ,

  DEFAULT_CONNECTTIMEOUT = 10,

  DEFAULT_SENDTIMEOUT = 10,

     DEFAULT_RECVTIMEOUT = 10, 

 };



 bool  Download(LPCTSTR lpszDownloadUrl, LPCTSTR lpszSavePath);



protected:

 bool  CreateSocket();

 void  CloseSocket();



    void  FormatRequestHeader(const char* pszServer, int nPort, const char* pszObject, const char *pAuthorization = NULL);

 bool  SendRequest();

 

private:

 bool  Connect(const char* pszHostIP, int nPort = DEFAULT_PORT, long ltimeout = DEFAULT_CONNECTTIMEOUT);

 int   SelectRecv(char *pData, int len, long timeout = DEFAULT_RECVTIMEOUT);

 int   SelectSend(char *pData, int len, long timeout = DEFAULT_SENDTIMEOUT);



    bool  GetResponseHeader();

    int   GetServerInfo(DWORD &dwContentLength, DWORD &dwStatusCode) const;

 



private:

 SOCKET  m_hSocket;

 char    m_szRequestHeader[1024];      //保存请求头

 char    m_szResponseHeader[1024];     //保存响应头

 int     m_nResponseHeaderSize;        //响应头大小

};



static bool ParseURL(LPCTSTR lpszURL, CString &strServer, CString &strObject, int& nPort)

{

    CString  strURL(lpszURL);

 strURL.TrimLeft();

 strURL.TrimRight();

 

 // 清除数据

 strServer = _T("");

 strObject = _T("");

 nPort   = 0;



 int nPos = strURL.Find("://");

 if( nPos == -1 )

  return false;



 // 进一步验证是否为http://


 CString strTemp = strURL.Left( nPos + lstrlen("://") );

 strTemp.MakeLower();

 if( strTemp.Compare("http://
") != 0 )

  return  false;



 strURL = strURL.Mid( strTemp.GetLength() );

 nPos = strURL.Find('/');

 if ( nPos == -1 )

  return  false;



 strObject = strURL.Mid(nPos);

 strTemp   = strURL.Left(nPos);

 

 ///

 /// 注意：并没有考虑URL中有用户名和口令的情形和最后有#的情形

 /// 例如：http://abc@def:www.yahoo.com:81/index.html#link1


 /// 

 //



 // 查找是否有端口号

 nPos = strTemp.Find(":");

 if( nPos == -1 )

 {

  strServer = strTemp;

  nPort   = CHttpDownload::DEFAULT_PORT;

 }

 else

 {

  strServer = strTemp.Left( nPos );

  strTemp   = strTemp.Mid( nPos+1 );

  nPort   = _ttoi((LPCTSTR)strTemp);

 }



 return  true;

}



#endif

//HttpDownload.cpp

#include "StdAfx.h"

#include "HttpDownload.h"



/************************************************************************

                                                                     

************************************************************************/

int CBase64::s_nBase64Mask[] = {0, 1, 3, 7, 15, 31, 63, 127, 255};

CString CBase64::s_strBase64TAB = _T("ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/");



int  CBase64::Base64Decode(LPCTSTR lpszDecoding, CString& strDecoded)

{

    int nIndex =0;

 int nDigit;

    int nDecode[ 256 ];

 int nSize;

 int nNumBits = 6;



 if( lpszDecoding == NULL )

  return 0;

 

 if( ( nSize = lstrlen(lpszDecoding) ) == 0 )

  return 0;



 // Build Decode Table

 for( int i = 0; i < 256; i++ ) 

  nDecode[i] = -2; // Illegal digit

 for( i=0; i < 64; i++ )

 {

  nDecode[ s_strBase64TAB[ i ] ] = i;

  nDecode[ '=' ] = -1; 

    }



 // Clear the output buffer

 strDecoded = _T("");

 long lBitsStorage  =0;

 int nBitsRemaining = 0;

 int nScratch = 0;

 UCHAR c;

 

 // Decode the Input

 for( nIndex = 0, i = 0; nIndex < nSize; nIndex++ )

 {

  c = lpszDecoding[ nIndex ];



  // 忽略所有不合法的字符

  if( c> 0x7F)

   continue;



  nDigit = nDecode[c];

  if( nDigit >= 0 ) 

  {

   lBitsStorage = (lBitsStorage << nNumBits) | (nDigit & 0x3F);

   nBitsRemaining += nNumBits;

   while( nBitsRemaining > 7 ) 

   {

    nScratch = lBitsStorage >> (nBitsRemaining - 8);

    strDecoded += (nScratch & 0xFF);

    i++;

    nBitsRemaining -= 8;

   }

  }

    } 



 return strDecoded.GetLength();

}



int  CBase64::Base64Encode(LPCTSTR lpszEncoding, CString& strEncoded)

{

    int nDigit;

 int nNumBits = 6;

 int nIndex = 0;

 int nInputSize;



 strEncoded = _T( "" );

 if( lpszEncoding == NULL )

  return 0;



 if( ( nInputSize = lstrlen(lpszEncoding) ) == 0 )

  return 0;



 int nBitsRemaining  = 0;

 long lBitsStorage = 0;

 long lScratch  = 0;

 int nBits;

 UCHAR c;



 while( nNumBits > 0 )

 {

  while( ( nBitsRemaining < nNumBits ) &&  ( nIndex < nInputSize ) ) 

  {

   c = lpszEncoding[ nIndex++ ];

   lBitsStorage <<= 8;

   lBitsStorage |= (c & 0xff);

   nBitsRemaining += 8;

  }

  if( nBitsRemaining < nNumBits ) 

  {

   lScratch = lBitsStorage << ( nNumBits - nBitsRemaining );

   nBits    = nBitsRemaining;

   nBitsRemaining = 0;

  }  

  else 

  {

   lScratch = lBitsStorage >> ( nBitsRemaining - nNumBits );

   nBits  = nNumBits;

   nBitsRemaining -= nNumBits;

  }

  nDigit = (int)(lScratch & s_nBase64Mask[nNumBits]);

  nNumBits = nBits;

  if( nNumBits <=0 )

   break;

  

  strEncoded += s_strBase64TAB[ nDigit ];

 }

 // Pad with '=' as per RFC 1521

 while( strEncoded.GetLength() % 4 != 0 )

  strEncoded += '=';



 return strEncoded.GetLength();

}



/************************************************************************

                                                                     

************************************************************************/

CHttpDownload::CHttpDownload():

m_hSocket(INVALID_SOCKET),

m_nResponseHeaderSize(0)

{

     memset(m_szRequestHeader, 0, sizeof(m_szRequestHeader));

  memset(m_szResponseHeader, 0, sizeof(m_szResponseHeader));

}



CHttpDownload::~CHttpDownload()

{

     CloseSocket();

}



bool CHttpDownload::CreateSocket()

{

 CloseSocket();



 m_hSocket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

 if (INVALID_SOCKET == m_hSocket)

 {

  return  false;

 }

 return true;

}



void CHttpDownload::CloseSocket()

{

 if (INVALID_SOCKET != m_hSocket )

 {

  closesocket(m_hSocket);

  m_hSocket = INVALID_SOCKET;

 }

}



void CHttpDownload::FormatRequestHeader(const char* pszServer, int nPort, const char* pszObject, const char *pAuthorization /* = NULL */)

{

    memset(m_szRequestHeader, '/0', 1024);



 //第1行：请求的方法，路径，版本

 strcat(m_szRequestHeader, "GET ");

 strcat(m_szRequestHeader, pszObject);

 strcat(m_szRequestHeader, " HTTP/1.0");

 strcat(m_szRequestHeader, "/r/n");

 //第2行：请求的数据类型

 strcat(m_szRequestHeader, "Accept: */*");

 strcat(m_szRequestHeader, "/r/n");



 //第3行：主机，端口

 char  szPort[10];

 sprintf(szPort, ":%d", nPort);

 strcat(m_szRequestHeader, "Host: ");

 strcat(m_szRequestHeader, pszServer);

 strcat(m_szRequestHeader, szPort);

 strcat(m_szRequestHeader, "/r/n");

 

 //第4行：缓冲控制

 strcat(m_szRequestHeader, "Catch-control: no-cache");

 strcat(m_szRequestHeader, "/r/n");



 //第5行：访问权限

 if (pAuthorization)

 {

  CString  strAuth;

  strcat(m_szRequestHeader, "Authorization: Basic ");

  CBase64::Base64Encode(pAuthorization, strAuth);

     strcat(m_szRequestHeader, strAuth);

     strcat(m_szRequestHeader, "/r/n");

 }

 //最后一行：空行

 strcat(m_szRequestHeader, "/r/n");



}



bool CHttpDownload::SendRequest()

{

 int  len = strlen(m_szRequestHeader);



 //if(send(m_hSocket,m_szRequestHeader,len,0)==SOCKET_ERROR)

 //{

 // return false;

 //}

    

 if (SelectSend(m_szRequestHeader, len ,DEFAULT_SENDTIMEOUT) <= 0)

 {

  return false;

 }



 if (!GetResponseHeader())

 {

  return false;

 }

 return true;

}



bool CHttpDownload::Connect(const char* pszHostIP, int nPort /* DEFAULT_PORT */, long ltimeout /* DEFAULT_CONNECTTIMEOUT*/)

{

    ASSERT(pszHostIP);



    sockaddr_in  addr;

 memset( &addr, 0, sizeof(addr));

 addr.sin_family = AF_INET;

 addr.sin_port   = htons(nPort);

 addr.sin_addr.S_un.S_addr = inet_addr(pszHostIP);



 unsigned   long   ul   =   1;

 int ret   =   ioctlsocket(m_hSocket, FIONBIO, (unsigned long*)&ul);  

 if( ret == SOCKET_ERROR)

 {

  return   false;

 }



 connect(m_hSocket, (sockaddr*)&addr, sizeof(addr));



 timeval   timeout = { 1, ltimeout }; 

 fd_set   r;  



 FD_ZERO(&r);  

 FD_SET(m_hSocket,  &r);  

  

 ret = select(0, 0, &r, 0, &timeout);  

 if( ret <=  0 )  

 {  

  return false;



 }  

 //一般非锁定模式套接比较难控制，可以根据实际情况考虑   再设回阻塞模式  

 unsigned   long   ul1=   0   ;  

 ret   =   ioctlsocket(m_hSocket, FIONBIO, (unsigned long*)&ul1);  

 if( ret == SOCKET_ERROR)

 {  

  return false;  

 }   



    return true;

}



bool CHttpDownload::GetResponseHeader()

{

     char c = 0;

     bool bEndResponse = false;

  int nIndex = 0;  

     int ret;



  while(!bEndResponse && nIndex < 1024)

  {

      ret = SelectRecv(&m_szResponseHeader[nIndex++], 1);  

      if (ret <= 0)

       return false;



  if(nIndex >= 4)

      {

       if(m_szResponseHeader[nIndex - 4] == '/r' && m_szResponseHeader[nIndex - 3] == '/n'

     && m_szResponseHeader[nIndex - 2] == '/r' && m_szResponseHeader[nIndex - 1] == '/n')

        bEndResponse = true;

      }

  }

  m_nResponseHeaderSize = nIndex;

 

     return  true;

}



int CHttpDownload::GetServerInfo(DWORD &dwContentLength, DWORD &dwStatusCode) const

{

 if (0 == m_nResponseHeaderSize)

 {

  dwContentLength = -1; 

  dwStatusCode = -1;

  return -1;

 }  

 char     szState[3];

 szState[0] = m_szResponseHeader[9];

 szState[1] = m_szResponseHeader[10];

 szState[2] = m_szResponseHeader[11];



 dwStatusCode =  (DWORD)_ttol(szState);



 // 获取ContentLength

 CString   strResponseHeader = m_szResponseHeader;

 int nPos = strResponseHeader.Find("Content-length:");

 if (nPos == -1)

  return -1;



 CString strDownFileLen = strResponseHeader.Mid(nPos + strlen("Content-length:")); 

 nPos = strDownFileLen.Find("/r/n");

 if (nPos == -1)

  return -1;



 strDownFileLen = strDownFileLen.Left(nPos); 

 strDownFileLen.TrimLeft();

 strDownFileLen.TrimRight();



 // Content-Length:

 dwContentLength = (DWORD) _ttol( (LPCTSTR)strDownFileLen );



 return  0;

}



int CHttpDownload::SelectSend(char *pData, int len, long timeout /* = DEFAULT_RECVTIMEOUT */)

{

     fd_set writefds;

  FD_ZERO(&writefds);

  FD_SET(m_hSocket, &writefds);



  timeval  tv = { timeout, 0 };   

 

  int  ret = select(0, NULL, &writefds, NULL, &tv);

  if ( ret == 0 || ret == SOCKET_ERROR)

  {

   return  0;

  }



  if (FD_ISSET(m_hSocket, &writefds) == 0)

   return 0;



  ret = send(m_hSocket, pData, len, 0);

  

  if (ret == SOCKET_ERROR)

  {

  // DWORD dwError = WSAGetLastError();

   return 0;

  }

  else if (ret == 0)

  {

   return 0;

  } 

          

  return ret;

}





int CHttpDownload::SelectRecv(char *pData, int len, long timeout)

{

     fd_set readfds;

  FD_ZERO(&readfds);

  FD_SET(m_hSocket, &readfds);



  timeval  tv = { timeout, 0 };   

 

  int  ret = select(0, &readfds, NULL, NULL, &tv);

  if ( ret == 0 || ret == SOCKET_ERROR)

  {

   return 0;

  }



  if (FD_ISSET(m_hSocket, &readfds) == 0)

   return 0;



  ret = recv(m_hSocket, pData, len, 0);

  

  if (ret == SOCKET_ERROR)

  {

  // DWORD dwError = WSAGetLastError();

   return 0;

  }

  else if (ret == 0)

  {

   return 0;

  } 

          

  return ret;

}



/************************************************************************

下载历史事件告警记录文件                                                                      

http://172.16.0.108/histevent.xml


************************************************************************/

bool CHttpDownload::Download(LPCTSTR lpszDownloadUrl, LPCTSTR lpszSavePath)

{

  int  nPort;

  CString  strService, strObject;



     if (!ParseURL(lpszDownloadUrl, strService, strObject, nPort))

  {

   return false;

  }

     

  if (!CreateSocket())

   return false;

     if (!Connect(strService, nPort))

   return false;

  

  FormatRequestHeader(strService, nPort, strObject);



     if (!SendRequest())

   return false;



  DWORD  dwFileLen, dwStatuCode;

     if (-1 == GetServerInfo(dwFileLen, dwStatuCode))

  {

   return false;

  }

  

  CFile  filedown;

  if (!filedown.Open(lpszSavePath, CFile::modeCreate|CFile::modeWrite))

  {

   return false;

  }



  DWORD  dwTotalBytes = 0;

  char   szdata[2048] = { 0 };

  while (dwTotalBytes < dwFileLen)

  {

           int nRecvBytes = SelectRecv(szdata, 2048);        

     if (nRecvBytes <= 0 )

     {

      break;

     }

     filedown.Write(szdata, nRecvBytes);

     dwTotalBytes += nRecvBytes;

  }

     

  CloseSocket();

  filedown.Close();

 

     if (dwTotalBytes < dwFileLen)

  {

   try

   {

             CFile::Remove(lpszSavePath);

   }

   catch (CFileException* e)

   {

     e->Delete();

   }

  

   return false;

  }



  return true;

}

ccjjyy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
网络课程实验 socket编程实现 http服务器
03-30
网络课程实验 socket编程实现 http服务器 包含完整源码和可执行程序以及实验报告 带有界面 网络实验即可提交
使用java实现socket编程
03-31
Socket编程是Java编程语言中一个重要的网络通信模块，主要用于实现客户端和服务器之间的双向通信。Java中的Socket类和ServerSocket类提供了TCP（传输控制协议）连接的API，使得开发者能够构建可靠的、基于字节流的...
通过HTTP GET下载网页(socket编程)
11-14 151
通过HTTP GET下载网页(socket编程) http://hi.baidu.com/jchbuaa/blog/item/cb4523f182a3d5a7a50f5264.html通过HTTP GET下载网页(socket编程)2009-04-29 11:16...
网络访问(Socket/WebSocket/HTTP)
最新发布
Cary_cacb的博客
07-23 1006
HarmonyOS为用户提供了网络连接功能，具体由网络管理模块负责。通过该模块，用户可以进行Socket网络通滚、WebSocket连接、HTTP数据请求等网络通信服务。需要注意的是，在使用网络管理模块提供的网络数据通信服务之前，用户需要根据具体的使用情况，向系统获取相应的使用权限。
HTTP编程
weixin_33713707的博客
11-04 270
一、HTTP概述： Ø web工作方式： 我们平时浏览网页的时候，会打开浏览器，输入网址后按下回车键，然后就会显示出你想要浏览的内容。在这个看似简单的用户行为背后，到底隐藏了些什么呢？ 对于普通的上网过程，系统其实是这样做的： 浏览器本身是一个客户端，当你输入URL的时候，首先浏览器会去请求DNS服务器，通过DNS获取相应...
Python socket 手写server 让浏览器直接访问，从而深刻理解 HTTP 协议
cpxsxn的博客
10-28 1794
本文主要是为了测试让浏览器和 纯 socket 写的 server 进行通信，从而理解 HTTP 协议的规范 import socket sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.bind(('192.168.56.101', 8008)) sock.listen(5) while True: # 等待连...
用c socket 方式下载网页
ggg Freak
01-25 3689
#include #include #include #include #include #include #include #include #include #include #include #include #define MaxRecvLen  500//定义网站结构struct DOMAIN{ char url[255];      //http://www.xh88.com:80
教你用Socket编程实现FTP功能.pdf
02-20
使用 Socket 编程可以实现 FTP 客户端，客户端程序可以登录 FTP 服务器，并从服务器端下载数据。数据同步传输系统既适合于服务器端的目录遍历，又适合客户端对服务端的上传文件和下载文件。 四、Socket 编程实现 ...
用C语言实现简易WebServer：Socket编程指南
06-15
内容概要：本文档提供了使用C语言和Socket编程创建简易WebServer的详细步骤。它介绍了TCP/IP网络协议基础、客户端连接处理、服务器端请求响应逻辑以及基本的错误处理机制。 适用人群：适用于计算机科学专业的学生、...
用Socket编程实现FTP.docx
06-22
本文通过详细介绍 Socket 编程实现 FTP 客户端和服务器端的通信机制，展示了如何使用 Socket 接口和 FTP 协议实现客户端和服务器端之间的信息交互。通过对 Socket 编程的深入分析和讲解，读者可以了解到 Socket 编程...
教你用Socket编程实现FTP功能.docx
02-20
通过使用 Socket 编程，我们可以实现一个FTP 客户应用程序，该程序能够登录 FTP 服务器，并从服务器端下载数据。该数据传输平台分为两个模块：服务器端模块和客户端模块。客户服务器程序通过对编程语言 Visual C++...
java 用socket 下载http 网页
10-13
java 用socket 下载http 网页， 供参考， 其精髓是socket和http头部报文
基于HTTP的网络编程
11-27
基于HTTP的网络编程，过HTTP GET方法实现MIDlet与Servlet应用进行交互。
【转】直接用socket实现HTTP下载
许落
01-18 1158
从HTTP服务器上下载一个文件有很多方法,"热心"的微软提供了WinInet类,用起来也很方便.当然,我们也可以自己实现这些功能,通过格式化请求头很容易就能实现断点续传和检查更新等等功能.本文附带的工程中有一个支持HTTP1.1协议,直接用Socket实现下载功能的DLL,实现了以下功能:1.连接主机2.格式化请求头3.设置接收,发送超时4.接收并分析回应头连接,发送,设置超时,接收数据等我就不细
iOS 网络编程 http
onebutterfly
05-02 481
转自：http://blog.csdn.net/hgy2011/article/details/8676084 http编程综述：亦可称为soap编程。通常情况下，http编程要比socket编程相对要简单易用得多。所以用的最广广泛。 一、http编程其实就是http请求。http请求最长用的方法是 get 和 post 方法。 ==》get方法和post方法相比理解起来比较简单，get方法可
使用Socket编程HTTP服务
Add小兵的博客
10-28 1260
创建一个maven项目 创建RawHttpServerSocket package server; import java.io.*; import java.net.ServerSocket; public class RawHTTPServer { public static void main(String[] argv) throws IOException { ServerSocket serverSocket = new ServerSocket(8000);.
C语言实现Socket网络编程详解
"C语言Socket编程"是一本详细讲解网络编程的书籍，主要关注使用C语言进行Socket编程。书中涵盖了从网络基础知识到高级网络编程技术，包括网络系统概述、通信协议、不同类型的网络程序设计（如NetBIOS和IPX/SPX）、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值