C语言获取网页源代码

最新推荐文章于 2023-01-03 20:13:32 发布
最新推荐文章于 2023-01-03 20:13:32 发布
阅读量1.2k 收藏 1
点赞数 3
文章标签： c/c++ python
原文链接：https://my.oschina.net/u/241930/blog/530673
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png


11月23日更新：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <winsock2.h>
#pragma comment(lib, "ws2_32.lib")


int geturl(char *url)
{
    /****************解析URL，解析资源名、主机名********************/ 
    const char *parseptr1;
    const char *parseptr2;
    char host[BUFSIZ];
    char resource[BUFSIZ];
    int len, i;
    
    parseptr2 = url;
    
    parseptr1 = strstr(parseptr2, "http://");
    if(NULL == parseptr1)           //解析用户输入URL形式如"www.baidu.com" 情况 
    {
        parseptr1 = strchr(parseptr2, '/');
        len = parseptr1 - parseptr2;
        if(NULL == parseptr1) //解析主机、资源名 
        {
            strcpy(host, parseptr2);
            strcpy(resource, "/");
        }
        else     //解析用户输入URL形式如"www.baidu.com/xxx"情况 
        {
            for(i = 0; i < len; i++)
            {
                host[i] = parseptr2[i];//解析主机名 
            }
            host[len] = '\0';
            for(i = 0; i < len; i++)
            {
                parseptr2++;
            }
            strcpy(resource, parseptr2);//解析资源名 
        }
        printf("host: %s\nresouce: %s\n", host, resource);
    }
    else
    {
        parseptr1 = strchr(parseptr2, ':');  //解析用户输入URL形式如"http://www.baidu.com"情况 
        len = parseptr1 - parseptr2;
        printf("protocol: ");   //解析协议 
        for(i = 0; i < len; i++)
        {
            printf("%c", parseptr2[i]);
        }
        for(i = 0; i < 3; i++)
        {
            parseptr1++;
        }
        parseptr2 = parseptr1;
        parseptr1 = strchr(parseptr2, '/');
        len = parseptr1 - parseptr2;
        if(NULL == parseptr1)
        {
            strcpy(host, parseptr2);     //解析主机名 
            strcpy(resource, "/");       //解析资源名 
        }
        else   //解析用户输入URL形式如"http://www.baidu.com/xxx.."情况 
        {
            for(i = 0; i < len; i++)
            {
                host[i] = parseptr2[i];
            }
            host[len] = '\0';
            parseptr2 = parseptr1;
            strcpy(resource, parseptr2);
        }
        
        printf("\nhost: %s\nresource: %s\n", host, resource);
    }
    
    /*****************创建socket************/ 
    //初始化套接字
    WSADATA wsaData;
    WSAStartup(MAKEWORD(2,2), &wsaData);
    
    //创建套接字
    SOCKET sock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
    if(sock == INVALID_SOCKET)
    {
        printf("Failed socket().\n");
        WSACleanup();
        return 0;
    }
    
    //设置socket参数
    struct sockaddr_in sockAddr;
    memset(&sockAddr, 0, sizeof(sockAddr));
    sockAddr.sin_family = AF_INET;
    sockAddr.sin_port = htons(80);
    
    //获取主机名和地址信息
    struct hostent *hp = gethostbyname(host);
    if(hp == NULL)
    {
        printf("Can not find host address.\n");
        return 0;
    }
    sockAddr.sin_addr.s_addr = *((unsigned long *)hp->h_addr);
    
    //连接到服务器
    if(connect(sock, (SOCKADDR *)&sockAddr, sizeof(sockAddr)) == -1)
    {
        printf("Failed connect().\n");
        WSACleanup();
        return 0;
    }
    
    
    /****************与服务器通信，收发数据***************/ 
    //准备发送数据
    char request[BUFSIZ] = "";
    //request = "GET " + resource + " HTTP/1.1\r\nHost:" + host + "\r\nConnection:Close\r\n\r\n";
    strcat(request, "GET ");
    strcat(request, resource);
    strcat(request, " HTTP/1.1\r\nHost:");
    strcat(request, host);
    strcat(request, "\r\nConnection:Close\r\n\r\n");
    
    //发送数据
    if(SOCKET_ERROR==send(sock, request, sizeof(request), 0))
    {
        printf("Send error.\n");
        closesocket(sock);
        return 0;
    }
    
    //接收数据
    static char pageBuf[BUFSIZ];
    printf("Read: ");
    int ret = 1;
    while(ret > 0)
    {
        ret = recv(sock, pageBuf, BUFSIZ, 0);
        printf("%s", pageBuf);
        strnset(pageBuf, '\0', BUFSIZ);
    }
    
    closesocket(sock);
    WSACleanup();
    return 0; 
}

int main(int argc, char *argv[])
{
    char url[256];
    puts("Enter URL:");
    scanf("%s", url);
    geturl(url);
    return 0;
}





11月20日更新下面源代码：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <winsock2.h>
#pragma comment(lib, "ws2_32.lib")


int geturl(char *url)
{
    /***********解析URL，解析出主机名，资源名**********/ 
    char host[BUFSIZ];
    char resource[BUFSIZ];
    char myurl[BUFSIZ];
    char *pHost = 0;
    if(strlen(url) > 2000)
    {
        return 0;
    }
    
    //解析出主机和资源名
    strcpy(myurl, url);
    
    for(pHost = myurl; *pHost != '/' && *pHost != '\0'; ++pHost);
    
    if((int)(pHost - myurl) == strlen(myurl))
    {
        strcpy(resource, "/");
    }
    else
    {
        strcpy(resource, pHost);
    }

    *pHost = '\0';
    strcpy(host, myurl);
    printf("%s\n%s\n", host, resource);
    
    
    /*****************创建socket************/ 
    //初始化套接字
    WSADATA wsaData;
    WSAStartup(MAKEWORD(2,2), &wsaData);
    
    //创建套接字
    SOCKET sock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
    if(sock == INVALID_SOCKET)
    {
        printf("Failed socket().\n");
        WSACleanup();
        return 0;
    }
    
    //设置socket参数
    struct sockaddr_in sockAddr;
    memset(&sockAddr, 0, sizeof(sockAddr));
    sockAddr.sin_family = AF_INET;
    sockAddr.sin_port = htons(80);
    
    //获取主机名和地址信息
    struct hostent *hp = gethostbyname(host);
    if(hp == NULL)
    {
        printf("Can not find host address.\n");
        return 0;
    }
    sockAddr.sin_addr.s_addr = *((unsigned long *)hp->h_addr);
    
    //连接到服务器
    if(connect(sock, (SOCKADDR *)&sockAddr, sizeof(sockAddr)) == -1)
    {
        printf("Failed connect().\n");
        WSACleanup();
        return 0;
    }
    
    
    /****************与服务器通信，收发数据***************/ 
    //准备发送数据
    char request[BUFSIZ] = "";
    //request = "GET " + resource + " HTTP/1.1\r\nHost:" + host + "\r\nConnection:Close\r\n\r\n";
    strcat(request, "GET ");
    strcat(request, resource);
    strcat(request, " HTTP/1.1\r\nHost:");
    strcat(request, host);
    strcat(request, "\r\nConnection:Close\r\n\r\n");
    
    //发送数据
    if(SOCKET_ERROR==send(sock, request, sizeof(request), 0))
    {
        printf("Send error.\n");
        closesocket(sock);
        return 0;
    }
    
    //接收数据
    static char pageBuf[BUFSIZ];
    printf("Read: ");
    int ret = 1;
    while(ret > 0)
    {
        ret = recv(sock, pageBuf, BUFSIZ, 0);
        printf("%s", pageBuf);
        strnset(pageBuf, '\0', BUFSIZ);
    }
    
    closesocket(sock);
    WSACleanup();
    return 0; 
}

int main(void)
{
    char url[256];
    printf("http://");
    scanf("%s", url);
    geturl(url);
    return 0;
}


转载于:https://my.oschina.net/u/241930/blog/530673

weixin_33805743
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用C语言获取网页源代码
To be simple but effective!
03-14 3040
当你想通过饮食来调理身体健康的时候，康夫子是你必备选择。 利用C语言获取网页源代码 #include   #include   #include   #pragma comment(lib, "ws2_32.lib")  void geturl(char *url)  {  WSADATA WSAData={0};  SOCKET sockfd;  struct soc
c语言网页抓取程序源代码
01-12
linux下c语言开发的多线程网页抓取程序。线程数、路径可配置。总共一千多行。
利用C语言获取网页源代码（待研究，HTTP协议）
03-18 599
点击打开链接 利用C语言获取网页源代码 #include   #include   #include   #pragma comment(lib, "ws2_32.lib")  void geturl(char *url)  {  WSADATA WSAData={0};  SOCKET sockfd;  struct sockaddr_in addr;
C语言调用API取网页源码
below_happy的博客
01-03 690
C语言调用API取网页源码
c语言socket获得网页源代码（原）
weixin_30815427的博客
03-30 125
int sockfd; int len; struct sockaddr_in address; int result; char *strings="GET /default.html HTTP/1.1 Host:23.20.236.43 Connection: Close "; char ch; sockfd = socket(PF_INET, SOCK_S...
c++实现发送http请求通过get方式获取网页源代码
01-20
代码如下:#include <stdio>#include <windows>#include <wininet>#define MAXSIZE 1024#pragma comment(lib, “Wininet.lib”) void urlopen(_TCHAR*); int _tmain(int argc, _TCHAR* argv[]){ urlopen(_T(“//...
Java开发技术大全(500个源代码).
12-02
代码范例列表 第1章 示例描述：本章演示如何开始使用JDK进行程序的开发。 HelloWorldApp.java 第一个用Java开发的应用程序。 firstApplet.java 第一个用Java开发的Applet小程序。 firstApplet.htm 用来装载...
linux下C语言实现https请求源码
10-31
利用OpenSSL库实现https get请求，在ubuntu16.04下验证通过.文档中包含源文件，Makefile文件.
基于C的ajax-功能实现-源代码.doc
05-03
HTML代码中包含一个`<script>`标签，内含JavaScript代码，这部分负责处理Ajax请求。`getXMLHttpRequest`函数创建了一个XMLHttpRequest对象，这是Ajax的核心，它允许浏览器与服务器进行异步通信。`sendRequest`函数则...
c 语言获取网页源码,CHttpFile抓取网页源代码 | C/C++程序员之家
weixin_35831256的博客
05-21 392
发现MFC真是一个好东西，减少许多C++开发者造轮子的麻烦(说MFC-微软基础类库过时的勿喷)。如下，包含头文件afxinet.h(该类封装了一些MFC SOCKET的操作)。CHttpFile抓取网页源代码：[cpp]CInternetSession session("HttpClient");char * url = "https://www.cplusplus.me";CHttpFile* ...
c语言链接网页的代码
05-08
用c语言编写的链接网页的源代码，简单方便，易于明白
c语言通过http获取网页
07-09
通过get方法获取网页信息 linux 下get方法抓取网页相关信息 可扩展为获取天气等，post方法暂未实现。 http网页访问
c++获取网页指定内容
12-30
抓取网页数据。修改网址可以抓取任何网页，对于初学者来说是个很好的工程。网页爬虫，可实现速度很快的信息爬取,提供源码。
利用c++语言打开百度网页，并允许搜索、
05-24
利用c++语言打开百度网页，并允许搜索。 本小程序为某个女孩写的，所以永久免费了。利用cmd方式打开浏览器，并允许输入文字，进行百度搜索。
C语言网页爬虫(附编译好的windows版)
01-11
通过curl工具写的一个C语言版网页爬虫工具，主要在vim里方便使用！
C++编写的获取已打开的IE窗口源代码的DEMO
03-11
C++编写的获取已打开的IE窗口源代码的DEMO 能得到所有打开的IE窗口的所有代码，与页面开发语言无关。 初始开发环境为VC6，后转换到VS2005,均可成功运行。
经典 C语言源代码大全
08-02
C语言源代码大全，有源代码上百个
C语言 打开指定网页代码
热门推荐
a15189215673的博客
12-16 1万+
int main(int argc,char *argv[]) //主函数。#include "stdio.h" //头文件。#include "stdlib.h" //头文件。#include //头文件。#include //头文件。
104子站c++源代码
最新发布
07-06
104子站c是一个基于C语言编写的源代码。它的设计初衷是为了方便用户在计算机上进行编程和开发工作。该源代码提供了许多常用的功能和工具，可以供用户在自己的项目中使用。 104子站c源代码的特点之一是简洁和高效。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值