用xpath爬取html页面

#淘宝店铺详情 抓取4张图片
import requests
from bs4 import BeautifulSoup
from lxml import etree
headers = {
    "accept":"text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01",
    "x-requested-with":"XMLHttpRequest",
    "accept-encoding":"gzip, deflate, br"
}
def get_picture(shop_id):
    '''
    :param shop_id_list:接受一个店铺id
    :return: 返回一个列表,每个列表里面为该店铺的4张宝贝图片
    '''
    # print('店铺id为:',shop_id)
    # for shop_id  in shop_id_list:
    url = 'https://shop%s.taobao.com/asynSearch.htm?orderType=hotsell_desc&search=y&path=/search.htm'%shop_id
    response = requests.get(url, headers=headers)
    html = etree.HTML(response.text)
    html_data = html.xpath('//*[@class="J_TModule"]/div/div[2]/div/div[1]/ul')
    # pict_list = []
    for li in html_data:
        pic = li.xp
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值