Python抓取网页中的超链接以及其文本

0.准备工作：读入网页加以解析抓取，需要用到的软件包是 requests_html 。我们此处并不需要这个软件包的全部功能，只读入其中的 HTMLSession 就可以。

from requests_html import HTMLSession

1. 建立一个会话（session），即让Python作为一个客户端，和远端服务器交谈:

session = HTMLSession()

1. url = 'https://www.baidu.com'
2. r = session.get(url)
3. print(r.html.text)
4. r.html.links //获取链接
5. r.html.absolute_links//获取绝对链接
6. 检查-分栏-确认该区域就是我们要找的链接和文字描述后，选择 Copy -> Copy selector。#__next > div._21bLU4._3kbg6I > div > div._gp-ck > section:nth-child(1) > article > div:nth-child(186) > pre
7. 定义变量：sel = 'body > div.note > div.post > div.article > div.show-content > div > p:nth-child(4) > a'
8. results = r.html.find(sel)
9. 让 Python 显示 results 结果数据对应的文本。results[0].text
10. 把链接也提取出来results[0].absolute_links

显示的结果却是一个集合。{'https://www.jianshu.com/nb/130182'}

我们不想要集合，只想要其中的链接字符串。所以我们先把它转换成列表，然后从中提取第一项，即网址链接。

list(results[0].absolute_links)[0]

设计一个函数，只需给定一个选择路径（sel），它就把找到的所有描述文本和链接路径都返回给我们。

def get_text_link_from_sel(sel) :

    mylist = [ ]

    try :

        results = r.html.find(sel)

        for result in results:

            mytext = result.text   #提取单个文本

            mylink = list(result.absolute_links)[0]  #提取单个链接

            mylist.append((mytext, mylink))   #将每个结果加入list中

        return mylist 

    except:

        return None

1.查看规律，得：

sel = 'body > div.note > div.post > div.article > div.show-content > div > p > a'

我们还得把采集到的信息输出到Excel中保存起来。

import pandas as pd

df = pd.DataFrame( get_text_link_from_sel(sel) )

df.columns = ['text', 'link']   #更换列名

df.to_csv('output.csv', encoding='gbk', index=False)  

#以把抓取的内容输出到Excel中了。Pandas内置的命令，就可以把数据框变成csv格式。注意这里需要指定encoding（编码）为gbk，否则默认的utf-8编码在Excel中查看的时候，有可能是乱码。

2.代码如下：

from requests_html import HTMLSession
session = HTMLSession()
url = "https://www.baidu.com"
r = session.get(url)
print(r.html.text)   #查看一下网页文本，可删
r.html.links         #查看一下网页链接，可删

r.html.absolute_links #获取“绝对”链接

sel = 'body > div.note > div.post > div.article > div.show-content > div > p > a'


#只需给定一个选择路径（sel），函数就把找到的所有描述文本和链接路径都返回给我们
def get_text_link_from_sel(sel):
    mylist = []
    try:
        results = r.html.find(sel)
        for result in results:
            mytext = result.text
            mylink = list(result.absolute_links)[0]
            mylist.append((mytext, mylink))
        return mylist
    except:
        return None

import pandas as pd
df = pd.DataFrame(get_text_link_from_sel(sel))
df.columns = ['text', 'link']
df.to_csv('output.csv', encoding='gbk', index=False)