Linux企业级项目实践之网络爬虫（7）——DNS解析

最新推荐文章于 2022-11-30 18:44:16 发布

weixin_30569153

最新推荐文章于 2022-11-30 18:44:16 发布

阅读量163

点赞数

文章标签：运维爬虫数据结构与算法

原文链接：http://www.cnblogs.com/new0801/p/6177004.html

版权

DNS 是Domain Name Service的缩写。域名系统为Internet上的主机分配域名地址和IP地址。IP地址不易于记忆，然而域名地址相比较而言是方便于记忆的。用户如果使用域名地址，当想获得IP地址时，就要向域名服务器发送请求。这个域名服务器就会自动把域名地址转为IP地址返回给用户。
爬虫程序优化DNS请求的必要性
当爬虫程序从HTML页面上提取URL时，一般情况下，应该有很多都是这个站点内部的URL。那么当这个站点里的某个URL请求过DNS以后，就应该采用某种数据结构把这个值保存起来。以后再发现这个站点内的URL后，就把域名部分的IP取出给这个URL，从而减少不必要的DNS请求。这样可以大大加快抓取页面的速度，提高效率。
优化DNS请求的方式

对于同一个站点内部的页面应该设一个数据结构以保存，并且方便查找。这样，当爬虫系统得到了一个新的URL以后，可以快速的转换地址格式并进行连接。

void * urlparser(void *none)
{
    Surl *url = NULL;
    Url  *ourl = NULL;
    map<string, string>::const_iterator itr;


    while(1) {
        pthread_mutex_lock(&sq_lock);
        while (surl_queue.empty()) {
            pthread_cond_wait(&sq_cond, &sq_lock);
        }
        url = surl_queue.front();
        surl_queue.pop();
        pthread_mutex_unlock(&sq_lock);

        ourl = surl2ourl(url);

        itr = host_ip_map.find(ourl->domain);
        if (itr == host_ip_map.end()) { /* not found */
            /* dns resolve */
            event_base * base = event_init();
            evdns_init();
            evdns_resolve_ipv4(ourl->domain, 0, dns_callback, ourl);
            event_dispatch();
            event_base_free(base);

        } else {
            ourl->ip = strdup(itr->second.c_str());
            push_ourlqueue(ourl);
        }
    }

    //evdns_base_free(dnsbase, 0);
    //event_base_free(base);
    return NULL;
}

转载于:https://www.cnblogs.com/new0801/p/6177004.html