应用python定向爬取京东商品页面

本文使用了python中的requests库、bs4库、re库以及os库

第一部分、步骤概述：

1. 在京东商品首页搜索指定商品类型
2. 确定爬取内容
3. requests库获取页面信息,
4. BeautifulSoup库和正则表达式配合提取信息
5. 将提取的信息打印输出或者保存到本地文件夹

第二部分、步骤细则：

1. 打开京东商品首页，在这里我们搜索羽绒服，当然你也可以改成别的商品类型，例如书包
   
2. 确定我们想要爬取的信息，是以羽绒服为关键词的京东商品页面的商品名称，商品价格，以及是否京东自营 -
3. 接下来的步骤，可以在下面几个函数中实现：
   我们大致需要以下五个函数：

函数一：

# 用给定的链接(url)结合requests库抓取网页信息，返回html文件
def get_html(url0):  
	pass

函数二：

# 从以得到的html文件中，使用BeautifulSoup和正则表达式获取我们想要的商品信息(result)
def get_info(html_text0): 
	pass

函数三：

# 将得到的商品信息(result)打印出来
def print_info(result0):
	pass

函数四：

# 从商品页面(html文件)中使用BeautifulSoup和正则表达式获取商品图片网址
#并储存到一个列表中(pic_list)，最后将此列表作为函数返回值返回
def get_pic(html_text0):
	pass

函数五：

# 此函数用来下载图片，root为想要储存图片的地址，pic_list0为商品图片网址列表
def download_pic(root, pic_list0):
	pass

4. 最后再用一个main函数调用以上函数即可

第三部分、展示一下效果图：

注：爬取所得到的信息会随着页面内容的更新而变化，所以你今天抓取的内容和昨天的可能会不一样，时间再久一点的话，可能代码相应地方也要修改

第四部分、接下来和大家一起分析代码正文部分：
一、
注:代码的解释在注释里，仔细看看
首先，我们看一下main函数：

def main():
    goods = '书包'  # 第一步中的商品类型，你改成书包也是可以的
    root = 'D:/desktop/jd_spider4/'  # 用来保存图片的地址，你可以改成你自己的地址
    url = 'https://search.jd.com/Search?keyword='+goods  # 要爬取的链接，你可以先在浏览器打开此链接瞧一瞧
    html_text = get_html(url)  # 接下来是分别调用函数，不做解释
    result = get_info(html_text)
    print_info(result)
    pic_list = get_pic(html_text)
    download_pic(root, pic_list)

二、
再看看get_html函数

def get_html(url0):  # url0即main函数里的那个地址
    header = {'user-agent': 'Mozilla/5.0'}  # 一个模拟浏览器的请求头，不用这个的话，请求头就是python的一个爬虫程序
    try:
        r = requests.get(url0, headers=header)  # get页面信息
        r.raise_for_status()  # 状态码，200表示成功，只要状态码不是200，则expect语句生效
        r.encoding = r.apparent_encoding  # 编码问题，详情可以单独搜索，不难理解
        return r.text  # 返回页面信息
    except:
        return '爬取失败'

三、
这是图片一，在注释中会提及

def get_info(html_text0):  # html_text0参数即get_html返回的页面信息
    result = []  # 空列表，用来储存第二步确定的商品信息
    soup = BeautifulSoup(html_text0, 'lxml')  # 做一锅汤，以便提取信息
    tags = soup.find('ul', class_='gl-warp clearfix')  # BeautifulSoup里的find函数，至于里面的参数选择原因，看看上面的图片一
    pat = re.compile(r'<i>[.\d]*</i>')  # 正则表达式
    pat2 = re.compile(r'京东自营')  
    for tag in tags.children:  # 由图片一中我们可以看出，使用children函数可以获取每个商品信息的标签内容，再实行遍历即可
        if isinstance(tag, bs4.element.Tag):  # 判断是否为标签类型
            try:
                price_ = pat.search(str(tag)).group(0)
                price = re.search(r'[.\d]+(?=<)', price_).group(0)  # 正则表达提取价格信息
                name_ = (tag.find('div', class_='p-name p-name-type-2')).find('em').text  
                name = re.sub(r'(\s+|京东超市)', '', name_)  # 正则表达提取商品名称
                ziying_ = pat2.search(str(tag))
                if ziying_:
                    ziying = ziying_.group(0)
                else:
                    ziying = '非自营'
                result.append([name, price, ziying])  # 储存信息
            except:
                print('')
    return result

四、
再看看打印输出信息的函数

def print_info(result0):  # 打印输出所得信息，这里主要是用到了format函数，了解这个函数的话，这几行代码不难
    tplt = "{:^4}\t{:^8}\t{:^8}\t{:26}"
    print(tplt.format('商品序号', '商品价格', '是否自营', '商品名称'))
    for i in range(len(result0)):
        print(tplt.format(i + 1, result0[i][1], result0[i][2], result0[i][0]))

五、
这是获得商品图片链接的函数

def get_pic(html_text0):  # 
    soup = BeautifulSoup(html_text0, 'lxml')
    tags = soup.find_all('ul', class_='ps-main')
    pic_href = []
    pat3 = re.compile(r'(?<=data-lazy-img=").*?\.jpg')
    for tag in tags:
        if isinstance(tag, bs4.element.Tag):
            pic_ = pat3.findall(str(tag))
            pic_href.append(pic_)
    print(pic_href)
    return pic_href

六、
最后是利用图片链接下载图片的函数，主要是利用os模块进行存储文件，了解os模块即可，不做过多解释

def download_pic(root, pic_list0):
    header = {'user-agent': 'Mozilla/5.0'}
    if not os.path.exists(root):
        os.mkdir(root)
    count = 0
    for pics in pic_list0:
        count += 1
        path_goods = root + '商品序号{}/'.format(count)
        if not os.path.exists(path_goods):
            os.mkdir(path_goods)
        for i in range(len(pics)):
            path = path_goods + 'picture{}.jpg'.format(i)
            print(path)
            pic_url = 'http:' + pics[i]
            print(pic_url)
            try:
                if not os.path.exists(path):
                    r = requests.get(pic_url, headers=header)
                    r.raise_for_status()
                    with open(path, 'wb') as f:
                        f.write(r.content)
                    print('文件保存成功')
                else:
                    print('文件已经存在')
            except:
                print('爬取出现异常')

七、
至此，所有代码已给出。花了有七八个小时才得出上述结果，但是比较开心的是以前都是模仿别人的代码，这一次是完完全全自己编写出来的，虽然代码很水(哈哈)。
八、
关于这一篇博客，因为能力不足，我还存在一些问题。
上述代码只能爬取到指定页面的30个商品信息，而实际上从浏览器上打开每一页有60个商品，在浏览器划到30个商品的时候，页面会刷新一下又出现另外30个商品信息，而这30个商品信息我不知道该怎么办。
正如标题所言，这是定向爬取，只爬取了一个页面，而如果想要爬取更多页面的商品信息也不难，在这里给出我的分析。首先看看这个网址：https://search.jd.com/Search?keyword=%E7%BE%BD%E7%BB%92%E6%9C%8D&page=3&s=56&click=0，这是京东商品搜索羽绒服的第二页的网址，你可以发现page=3代表第二页，而page=1正好是第一页，所以你写个循环即可。但是别循环太多，两三页即可，京东的robots协议不允许爬虫。
最后、
如果你看了我的博客，有啥问题不明白可以问我，有错误的地方也非常欢迎指点。

import requests
import bs4
from bs4 import BeautifulSoup
import re
import os


def get_html(url0):
    header = {'user-agent': 'Mozilla/5.0'}
    try:
        r = requests.get(url0, headers=header)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '爬取失败'


def get_info(html_text0):
    result = []
    soup = BeautifulSoup(html_text0, 'lxml')
    tags = soup.find('ul', class_='gl-warp clearfix')
    pat = re.compile(r'<i>[.\d]*</i>')
    pat2 = re.compile(r'京东自营')
    for tag in tags.children:
        if isinstance(tag, bs4.element.Tag):
            try:
                price_ = pat.search(str(tag)).group(0)
                price = re.search(r'[.\d]+(?=<)', price_).group(0)
                name_ = (tag.find('div', class_='p-name p-name-type-2')).find('em').text
                name = re.sub(r'(\s+|京东超市)', '', name_)
                ziying_ = pat2.search(str(tag))
                if ziying_:
                    ziying = ziying_.group(0)
                else:
                    ziying = '非自营'
                result.append([name, price, ziying])
            except:
                print('')
    return result


def print_info(result0):
    tplt = "{:^4}\t{:^8}\t{:^8}\t{:26}"
    print(tplt.format('商品序号', '商品价格', '是否自营', '商品名称'))
    for i in range(len(result0)):
        print(tplt.format(i + 1, result0[i][1], result0[i][2], result0[i][0]))


def get_pic(html_text0):
    soup = BeautifulSoup(html_text0, 'lxml')
    tags = soup.find_all('ul', class_='ps-main')
    pic_href = []
    pat3 = re.compile(r'(?<=data-lazy-img=").*?\.jpg')
    for tag in tags:
        if isinstance(tag, bs4.element.Tag):
            pic_ = pat3.findall(str(tag))
            pic_href.append(pic_)
    # print(pic_href)
    return pic_href


def download_pic(root, pic_list0):
    header = {'user-agent': 'Mozilla/5.0'}
    if not os.path.exists(root):
        os.mkdir(root)
    count = 0
    for pics in pic_list0:
        count += 1
        path_goods = root + '商品序号{}/'.format(count)
        if not os.path.exists(path_goods):
            os.mkdir(path_goods)
        for i in range(len(pics)):
            path = path_goods + 'picture{}.jpg'.format(i)
            print(path)
            pic_url = 'http:' + pics[i]
            print(pic_url)
            try:
                if not os.path.exists(path):
                    r = requests.get(pic_url, headers=header)
                    r.raise_for_status()
                    with open(path, 'wb') as f:
                        f.write(r.content)
                    print('文件保存成功')
                else:
                    print('文件已经存在')
            except:
                print('爬取出现异常')


def main():
    goods = '羽绒服'
    url = 'https://search.jd.com/Search?keyword='+goods
    html_text = get_html(url)
    result = get_info(html_text)
    print_info(result)
    pic_list = get_pic(html_text)
    root = 'D:/desktop/jd_spider3/'
    download_pic(root, pic_list)


main()