python爬取天猫搜索页面产品标题
上一篇我用白痴方法提取代码中的文本,real冗长,今天看了个大佬视频,get到了text的用法,提取文字超方便!
想要爬取的信息:天猫搜索页面的产品标题
为了方便演示,这里只爬取搜索结果的第一页,且无储存
上代码
import requests
from bs4 import BeautifulSoup
url='https://list.tmall.com/search_product.htm?q=%B6%B9%BD%AC%B7%DB+%CE%DE%CC%C7&type=p&spm=a220m.1000858.a2227oh.d100&xl=%B6%B9%BD%AC_6&from=.list.pc_1_suggest'
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
res=requests.get(url,headers=headers)
soup=BeautifulSoup(res.text,'lxml')
#据说用lxml解析网页更快
titles=soup.select('#J_ItemList > div > div &