[Python3]10天突击自学速成Day2：初步查看爬取网页

 

1.安装lxml

python3解析库lxml

2.写程序

用lxml解析HTML

1.copy Xpath

通过查找首页推荐文章题目的Xpath，为

    //*[@id="mainBox"]/main/div[2]/div[4]/h4/a
    //*[@id="mainBox"]/main/div[2]/div[3]/h4/a

......

所以是通过div【】来确定的

import requests
url="https://blog.csdn.net/CSDNedu?utm_source=feed"
r=requests.get(url)
selector=etree.HTML(r.content)
all_li=selector.xpath('//*[@id="mainBox"]/main/div[2]/div/h4/a/text()')
type(all_li)
print(all_li)