一.分析页面结构
先行爬取首页内容的两个字段,一个是商品名称title以及价格price;
二.分析页面的请求:
首先按照PC端的url进行请求,结果未得到返回响应的response的数据,于是通过chrom浏览器切换至手机端的来获取响应:
观察到其url是编码过的,对其进行urlencode解码后,得到url如下:
再对其中的参数进行简化,方法是删去url中的部分参数,看原有内容是否会发生变化,最终得到的url为:
https://www.amazon.cn/gp/aw/s/ref=is_pg?rh=i:aps,k:华为手机
因为该亚马逊网站未进行登陆,故只需添加headers,而不用添加cookies,最终拿到html
三.xpath分析
通过copy xpath获取单独的xpath后,由ctrl + f 将后面的标号去掉至1 of all ,进而获取全部数据
拿到的数据由字典方式存储,根据页面中的url变化,改变参数的page值来进行访问;
最终结果:
详情页的分析中发现其使用了js进行加载,暂时只想到用senlenium的思路,后续补上
import requests
from lxml import etree
from requests.exceptions import RequestException
from urllib.parse import urljoin
from multiprocessing import Pool
from settings import *
def get_one_page(url,headers,cookies):
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
def parse_one_page(res):
html = etree.HTML(res)
title = html.xpath('//*[@id="resultItems"]/li/a/div/div/h5/span/text()')
price = html.xpath('//*[@id="resultItems"]/li/a/div/div/div/div/span[1]/text()')
for i in range(len(price)):
phone = {}
phone['title'] = title[i]
phone['price'] = price[i].replace(',','')
yield phone
def main(num):
url = 'https://www.amazon.cn/gp/aw/s/ref=is_pg?rh=i%3Aaps%2Ck%3A%E5%8D%8E%E4%B8%BA%E6%89%8B%E6%9C%BA&page={}'.format(num)
response = get_one_page(url,headers,cookies)
# print(response)
result = parse_one_page(response)
result = list(result)
print(result)
if __name__ == '__main__':
for i in range(10):
main(i+1)
代码如下: