网址
https://www.qqtn.com/qm/weimeiqm_1.html
代码
import requests
from bs4 import BeautifulSoup
url = 'https://www.qqtn.com/qm/weimeiqm_1.html'
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
res = requests.get(url=url,headers=headers)
res.encoding = res.apparent_encoding
html = res.text
def spimer():
soup = BeautifulSoup(html,'lxml')
# list = soup.find('div',class_='g-gxlist-left')
# all = list.select('.g-tit-name>.g-gxlist-article2020>li')
all = soup.select('.g-gxlist-left >ul > li')
for div in all:
#文字
txt = div.find('a',class_='m-name').get_text()
#print(txt)
#段落
text_p = div.find('p').get_text()
#print(text_p)
#喜欢人数
love = div.find('em',class_='u-like').get_text()
print(love)
#发布时间
fbu = div.find('em',class_='u-date').get_text()
print(fbu)
if __name__ == '__main__':
spimer()
运行结果
总结
爬虫这个东西写的越多爬的网站多了有差不多了基本的看的懂了
难就难在的是之前爬的那个不一样或者网站的标签太复杂了
就要适当用到正则了
还有参数加密 js混淆 各种加密
后面就要考虑到逆向方面了
好久没写了写一篇回顾一下
之后在来一篇多线程的回顾
爬虫基本的阶段就差不多了
应该要往中级走了