提取网页所有链接

正文
见过“网际快车”的“使用网际快车下载全部链接”这个功能吗?想实现他,我们可以这样做:
     IE有几个有用的接口,我们可以用他来提取网页所有链接
     首先是用IHTMLDocument2的get_links,来获取IHTMLElementCollection接口,再通过IHTMLElementCollection来获取IHTMLAnchorElement,而IHTMLAnchorElement接口的get_href就是我们想要的,通过循环获取,我们就可以得到网页的所有链接了!
{
    TCHAR HostName[2*MAX_PATH];
    CComPtr<IDispatch> spDispatch;
    CComQIPtr<IHTMLDocument2, &IID_IHTMLDocument2> pDoc2;
    CComPtr<IHTMLElementCollection> pElementCol;
    CComPtr<IHTMLAnchorElement> pLoct;
    // TODO: Add your control notification handler code here
    int n = m_LinksList.GetItemCount();//GetCount();

    for (int i = 0; i < n; i ++){
        IWebBrowser2 *pBrowser = (IWebBrowser2 *)m_LinksList.GetItemData(i);
        if (pBrowser){
            pBrowser->Release();
        }
    }

    m_LinksList.DeleteAllItems();
    m_LinksNum = 0;
    Log("**************************************************************");
    Log("/r/n");

    if (m_spSHWinds){
        int n = m_spSHWinds->GetCount();
        for (int i = 0; i < n; i++){
            _variant_t v = (long)i;
            IDispatchPtr spDisp = m_spSHWinds->Item(v);


            SHDocVw::IWebBrowser2Ptr spBrowser(spDisp);   //生成一个IE窗口的智能指针
            if (spBrowser){
               //获取IHTMLDocument2接口
                if (SUCCEEDED(spBrowser->get_Document( &spDispatch)))
                    pDoc2 = spDispatch;
                if(pDoc2!=NULL)
                {

                    //获取IHTMLElementCollection接口
                    if (SUCCEEDED(pDoc2->get_links(&pElementCol)))
                    {
                        //    AfxMessageBox("IHTMLElementCollection");
                        long p=0;
                        if(SUCCEEDED(pElementCol->get_length(&p)))
                            if(p!=0)
                            {  
                                m_LinksNum = m_LinksNum+p;
                                UpdateData(FALSE);
                                for(long i=0;i<=(p-1);i++)
                                {
                                    BSTR String;
                                    _variant_t index = i;
                                    if(SUCCEEDED(pElementCol->item( index, index, &spDispatch)))             

                                   //查找IHTMLAnchorElement接口
                                    if(SUCCEEDED(spDispatch->QueryInterface( IID_IHTMLAnchorElement,(void **) &pLoct)))
                                    //取得链接
                                    pLoct->get_href(&String);
                                    ZeroMemory(HostName,2*MAX_PATH);
                                    lstrcpy(HostName,_bstr_t(String));

                                   //插入链接到list中
                                    m_LinksList.InsertItem(i,HostName);
                                    m_LinksList.SetCheck(i,TRUE);
                                  
                                    pLoct->get_hostname(&String);
                                    ZeroMemory(HostName,2*MAX_PATH);
                                    lstrcpy(HostName,_bstr_t(String));
                                    if(lstrlen(HostName))
                                    {
                                        m_LinksList.SetItemText(i,1,HostName);
                                        Log(HostName );
                                        Log("/r/n");
                                    }
                                    
                                }
                            }
                    }

                }

            }
        }
    }
}

    本程序在VC7+WINXP下编译通过,详细请看源代码!
  TanXin79@163.net,谢谢阅读,文章源代码如下:

http://www.vchelp.net/ASP/ibr_upload/543.rar

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用 Selenium 的 `find_elements_by_tag_name` 方法来提取网页中的所有链接。首先,需要使用 Selenium 在浏览器中打开网页,然后使用以下代码来提取网页中的所有链接: ```python links = driver.find_elements_by_tag_name("a") ``` 这将返回一个由所有链接组成的列表。您可以使用以下代码来遍历该列表并打印链接的文本和 URL: ```python for link in links: print(link.text, link.get_attribute("href")) ``` 需要注意的是,这些链接可能包括网页中的所有类型的链接,例如导航链接、按钮、图像等。如果您只想提取某些类型的链接,则可以使用 Selenium 的其他方法来筛选它们,例如 `find_elements_by_class_name` 或 `find_elements_by_css_selector`。 希望这能帮到你! ### 回答2: Selenium是一种用于自动化测试的工具,也可以用于提取网页的所有链接。使用Selenium提取网页的所有链接可以通过以下步骤完成: 1. 安装Selenium库并配置驱动程序:首先,需要在Python环境中安装Selenium库,并根据使用的浏览器下载并配置相应的驱动程序,如ChromeDriver或GeckoDriver。 2. 创建一个webdriver对象:在Python代码中,使用Selenium创建一个webdriver对象,以启动一个浏览器会话。 3. 打开目标网页:使用webdriver对象的`get()`方法打开目标网页,代码示例为:`driver.get("https://www.example.com")`。 4. 提取所有链接:通过使用Selenium提供的`find_elements_by_tag_name()`方法,寻找标签为`<a>`的所有元素,将其保存到一个列表中。 代码示例:`link_elements = driver.find_elements_by_tag_name("a")` 5. 遍历链接提取URL:遍历保存链接元素的列表,并使用元素的`get_attribute()`方法获取每个链接元素的`href`属性,即链接的URL。 代码示例:```for link_element in link_elements: link_url = link_element.get_attribute("href") print(link_url)``` 通过以上步骤,使用Selenium可以提取网页中的所有链接。需要注意的是,网页中的链接可能包含相对路径或者其他非标准格式,可能需要进行进一步的处理和筛选。另外,Selenium也可以与BeautifulSoup等其他Python库一起使用以提取更加复杂的网页信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值