自己动手编写CSDN博客备份工具-blogspider之源码分析(3)

本文详细介绍了如何使用blogspider备份CSDN博客,包括建立连接、发送请求、接收响应以及解析博客URL和元数据。作者分享了源码并讨论了HTTP协议的关键点,建议增加线程以提升下载效率。
摘要由CSDN通过智能技术生成

作者:gzshun. 原创作品,转载请标明出处!
来源:
http://blog.csdn.net/gzshun

 

周星驰:剪头发不应该看别人怎么剪就发神经跟流行,要配合啊!你看你的发型,完全不配合你的脸型脸型又不配合身型,身型又和发型完全不搭,而且极度不配合啊!!欢哥!你究竟要怎么样啊? 《算死草》

在开篇,先happy下,新年到,开开心心过好年!
已经写了几篇文章,把代码贡献给有需要的人,这里列出前几篇文章,需要的马上跳转,麻利的。。
自己动手编写CSDN博客备份工具-blogspider

自己动手编写CSDN博客备份工具-blogspider之源码分析(1)

自己动手编写CSDN博客备份工具-blogspider之源码分析(2)

本文是blogspider最重要的部分,开始要下载并分析CSDN博客,把博文的URL分析出来,添加进链表,GO!

一.先下载博客主页到本地的index.html

下载网页到本地的步骤:
建立连接 -> 连接网站服务器 -> 发送请求 -> 接收响应 -> 保存到本地
connect_web -> send_request -> recv_response
源码说话:

/*****************************************************************
下载个人的博客主页
*****************************************************************/
static int download_index(blog_spider * spider_head)
{
	int ret;
	
	ret = connect_web(spider_head);
	if (ret < 0) {
		goto fail_download_index;
	}
	
	ret = send_request(spider_head);
	if (ret < 0) {
		goto fail_download_index;
	}

	ret = recv_response(spider_head);
	if (ret < 0) {
		goto fail_download_index;
	}
	
	close(spider_head->blog->b_sockfd);
	
	return 0;
	
fail_download_index:
	close(spider_head->blog->b_sockfd);
	return -
  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 36
    评论
评论 36
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值