Google搜索引擎（c++实现）

最新推荐文章于 2024-05-15 08:27:55 发布

sweetyy_316

最新推荐文章于 2024-05-15 08:27:55 发布

阅读量1k

点赞数 3

分类专栏：项目文章标签： c++ 网络开发语言

本文链接：https://blog.csdn.net/qq_29688979/article/details/128493792

版权

项目专栏收录该内容

3 篇文章 0 订阅

订阅专栏

创建socket套接字，对网址解析，先获取可用域名，后通过ping得到其ip地址，浏览器发送一个get请求（包括自己的信息），网站的服务器接受请求后，返回相关html文本文件，本地创建文件保存文本。

// Google project.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。
//

#pragma once
#include <iostream>
#include <WinSock2.h>
#include <string.h>
#include <fstream>
#define _WINSOCK_DEPRECATED_NO_WARNINGS
#pragma comment(lib,"ws2_32.lib")//将库导入

/**
* 解析URL
* @param url 待解析的网址
* @param host OUT 主机名
* @param resource OUT 资源名
* @return false 传入的URL无法解析
*/
bool ParseUrl(const std::string strUrl, std::string& strHost, std::string& strResource) {
    bool bRet = false;
    do {
        const std::string strHttp = "http://";

        const char* szPos = strstr(strUrl.c_str(), strHttp.c_str());//找到她的首地址

        if (szPos == nullptr) {//如果没有找到Http
            szPos = strUrl.c_str();
        }
        else {
            szPos = szPos + strHttp.length();
        }

        char szHost[MAXBYTE] = { 0 };
        char szResource[MAXBYTE] = { 0 };

        sscanf_s(szPos, "%[^/]%s", szHost, MAXBYTE, szResource,MAXBYTE);

        strHost = szHost;
        strResource = szResource;
        bRet = true;
    } while (false);
    return bRet;
}

int main()
{
    BOOL bRet = FALSE;
    using std::string;
    SOCKET socketServer=INVALID_SOCKET;
    char* strBuffer = nullptr;
    do {
        //拿起电话
        WSADATA wsaData;
        if (0 != WSAStartup(MAKEWORD(2, 2), &wsaData)) {
            break;
        }
        if (2 != LOBYTE(wsaData.wVersion) || 2 != HIBYTE(wsaData.wVersion))
            break;

            //服务端
            // 如何通过编程 将他的域名转成ip
            // 
            //ping 百度 拿到一个ip   浏览器发送一个get请求
            // 百度的服务器 接受到了你的请求 返回一些东西给你
            //返回的东西 就是我们想要的
            string url = "http://www.baidu.com";
            string strHost, strRescoure;
            ParseUrl(url, strHost, strRescoure);
        printf("Host :%s\t Rescoure: %s", strHost.c_str(), strRescoure.c_str());
           hostent *hServerHost = gethostbyname("strHost.c_str()");

           if (nullptr == hServerHost)
               break;

           sockaddr_in addrServer = { 0 };
           addrServer.sin_family = AF_INET;
           addrServer.sin_port = htons(80);
           memcpy(&(addrServer.sin_addr), hServerHost->h_addr_list, 4);
            socketServer = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
           if (INVALID_SOCKET == socketServer) {
               break;
           }

           if (SOCKET_ERROR == connect(socketServer, (SOCKADDR*)&addrServer, sizeof(addrServer)))
               break;
         
        //发送GET请求
           std::string strRequest = "GET: " + strRescoure + " HTTP/1.1\r\nHost:"
               + strHost + "\r\nConnection:Closer\r\n";
           if (SOCKET_ERROR == send(socketServer, strRescoure.c_str(), strRescoure.length(), 0))
               break;
           const int MAXBUFFERSIZE = 1 * 1024 * 1024;
           char *pBuffer=(char*)malloc(MAXBUFFERSIZE);
           ZeroMemory(pBuffer, MAXBUFFERSIZE);
           int nRecvSize = 1, nOffset = 0,nReallocCount=2;
           while (0 < nRecvSize) {//不断更新偏移量，并根据剩余内存不断更新内存大小
            nRecvSize=recv(socketServer, pBuffer+nOffset, 100000-nOffset, 0);
            nOffset += nRecvSize;
            if (MAXBUFFERSIZE - nOffset < 100) {
                realloc(pBuffer, MAXBUFFERSIZE*2);
                nReallocCount++;
            }
           }
           std::ofstream outPutStream("Buffer.txt", std::ios::app);
           outPutStream << strBuffer;
           outPutStream.close();
    } while (false);
    if (INVALID_SOCKET != socketServer) {
        closesocket(socketServer);
    }
    WSACleanup();
    system("pause");
    return 0;
}