api demo 京东商品详情_爬取京东商品详情页信息

之前写过爬取京东商品导航信息，现在献上爬取京东商品详情页信息。

#爬取京东商品详情页信息

#2017/7/30

import requests

from bs4 import BeautifulSoup

import os

import csv

import re

import json

import time

#爬取页面链接

def make_a_link(keyword,page):

try:

r = requests.get("https://search.jd.com/Search?keyword=" + keyword +'&enc=utf-8&page=' + str(2*page-1))

r.raise_for_status

print('正在爬取第{}页...'.format(page))

print('---'*45)

r.encoding = 'gbk'

return r.text

except:

print('链接错误！！！')

return ''

#爬取页面链接

def find_only_link(html):

soup = BeautifulSoup(html,'lxml')

links = soup.find_all('div',class_='gl-i-wrap')

return (link.