python小白的初步爬虫

引用自己博客园的记录https://www.cnblogs.com/upinthewind7/p/9891157.html

前序：

最近工作不是很忙，领导突然找我谈话，说是谈话，其实就是分配活呗。果不其然，很快进入正题, 给了我一个网址链接，然后说需要商品的信息。。。巴拉巴拉。好吧，去做吧。

我当时的内心是崩溃的，python爬虫压根没碰过，这下完蛋了，理了理思绪，决定先从网页来看。

好了，吐槽完毕，开始正题：

需求：

https://youpin.mi.com/ 需要这个电商网址里边的商品信息, 其中包括：【商品类目】【商品名称】【商品链接】【商品售价】【商品市场价】【评价星级】【评价满意度】【评价总数量】

由于需要类目信息，我决定从类目到商品再到评价这个路子去着手。

首先呢，打开地址，发现首页可以看到类目信息，所以开启网页调试模式，发现了一个请求，如图：

这个请求的返回，有我们需要的分类信息哇，心里一抖，再去看了看请求入参的信息，如下：

之后，我通过postman模拟，居然请求ok了。这可是决定性的一步啊。（ps：其实也不是一下子就试成功的，中间走了一些弯路，由于抓包看到的请求入参格式是application/x-www-form-urlencoded，但是在postman模拟请求的时候，却怎么也请求不到，结果用application/json 去请求的话就可以了，这块存在一部分的侥幸啊）postman请求如下：

这里入参用的是 application/json , 其中请求头的 Referer是必须的，抓包看请求就可以获取到。

接下来，我用类似的方法找到了从分类点进去的商品列表的接口，商详接口，商品评价接口，其中，商详接口请求到code=0，但是result为空，我猜可能是平台的商详接口有反爬虫的机制，就放弃了请求商详接口，如此一来，分析了下，分类点进去的商品列表里边有商品的信息，然后我根据商品的id 可以获取到评论信息，如此一来，我需要的数据都有了，开始动工。

我先说下大体思路哈：

1. 打开网页，分析自己需要的数据，查找对应的网页请求。

2. postman模拟网页请求，获取数据。

3. 用python 去请求对应的接口，获取数据，保存至excel。

下边上代码：

环境：windows7， Python 2.7.0，PyChram编辑器 ，其中有用到python的库：urllib2 json xlwt （这些库具体的安装，用法大家可以自行百度，这里就不再赘述）

-- coding: UTF-8 --

import xlwt
import urllib2
import json

设置编码格式为utf-8

import sys
reload(sys)
sys.setdefaultencoding(‘utf8’)

设置url

shop_url = “https://youpin.mi.com/app/shopv3/pipe”

代理

user_agent = ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36’

请求格式

con_type = ‘application/json’

类目的referer

caty_referer = “https://youpin.mi.com/”

商品列表的referer

goods_referer = ‘https://youpin.mi.com/detail?gid=101975’

组建header

caty_headers = {‘Referer’: caty_referer, “Content-Type”: con_type}

分类入参

caty_data = {“result”: {“model”: “Homepage”, “action”: “GetGroup2ClassInfo”, “parameters”: {}}}

商品列表入参

list_data = {“uClassList”: {“model”: “Homepage”, “action”: “BuildHome”, “parameters”: {“id”: 1}}}

评论入参

comment_data = {“overView”: {“model”: “Product”, “action”: “CommentIndexV2”, “parameters”: {“gid”: 1}}}

获取商品的评论信息

def get_good_comment(url, gid):
caty_headers[“Referer”] = url
comment_data[“overView”][“parameters”][“gid”] = gid
comment_param = json.dumps(comment_data)

com_req = urllib2.Request(shop_url, headers=caty_headers, data=comment_param)
com_resp = urllib2.urlopen(com_req)
com_res = com_resp.read()
com_result = json.loads(com_res)
com_info = com_result['result']['overView']['data']
com_count = 0

if com_info['tags']:
    com_count = com_info['tags'][0]['count']
else:
    com_count = 0
# for com in com_info['tags']:
#     com_count = com['count']

comment_info = {
    "score": com_info['avg_score'],
    "rate": com_info['positive_rate'],
    "count": com_count
}
return comment_info

获取商品列表，并获取到商品信息，保存到excel

def get_good_list(caty_id, caty_name):
# 1. 请求分类的商品列表
list_referer = “https://youpin.mi.com/goodsbycategory?firstId=%s&secondId=%s&title=%s”
list_referer_r = list_referer % (caty_id, caty_id, caty_name)
caty_headers[“Referer”] = list_referer_r
list_data[“uClassList”][“parameters”][“id”] = caty_id
list_param = json.dumps(list_data)

list_req = urllib2.Request(shop_url, headers=caty_headers, data=list_param)
list_resp = urllib2.urlopen(list_req)
list_res = list_resp.read()
list_result = json.loads(list_res)
list_info = list_result['result']['uClassList']['data']

worksheet = workbook.add_sheet(caty_name)
worksheet.write(0, 0, '类目')
worksheet.write(0, 1, '链接')
worksheet.write(0, 2, '商品名称')
worksheet.write(0, 3, '价格')
worksheet.write(0, 4, '划线价')
worksheet.write(0, 5, '评论星级')
worksheet.write(0, 6, '评论满意度')
worksheet.write(0, 7, '评论条数')

# 3. 获取商品url，从而获取商品信息
index = 1
for list_index in list_info:
    if list_index['item_type'] == 5:
        continue

    # 获取商品url，获取商品信息
    child_caty_name = list_index['content']['name']
    real_caty_name = caty_name+'/'+child_caty_name

    for goods in list_index['data']:
        # 获取评论
        comment = get_good_comment(goods['url'], goods['gid'])

        # 获取商品信息
        goods_info = {
            "caty": real_caty_name,
            "url": goods['url'],
            "name": goods['name'],
            "price_min": goods['price_min'],
            "market_price": goods['market_price'],
            "score": comment['score'],
            "rate": comment['rate'],
            "count": comment['count']
        }
        print goods_info
        worksheet.write(index, 0, goods_info['caty'])
        worksheet.write(index, 1, goods_info['url'])
        worksheet.write(index, 2, goods_info['name'])
        worksheet.write(index, 3, goods_info['price_min'])
        worksheet.write(index, 4, goods_info['market_price'])
        worksheet.write(index, 5, goods_info['score'])
        worksheet.write(index, 6, goods_info['rate'])
        worksheet.write(index, 7, goods_info['count'])
        index = index + 1

workbook.save(filename)
return

入口

1. 类目入参处理,并请求获取类目信息列表

caty_param = json.dumps(caty_data)
req = urllib2.Request(shop_url, headers=caty_headers, data=caty_param)
response = urllib2.urlopen(req)
res = response.read()
caty_resp = json.loads(res)
caty_groups = caty_resp[“result”][“result”][“data”][“groups”]
print len(caty_groups)

2. excel表格初始化

filename = “小米优品.xls”.decode(encoding=“utf-8”)
workbook = xlwt.Workbook(encoding=‘utf-8’)

3. 获取分类列表,以及id

for caty in caty_groups:
for caty_class in caty:
caty_info = {
‘id’: caty_class[‘class’][‘ucid’],
‘name’: caty_class[‘class’][‘name’]
}

    list_data["uClassList"]["parameters"]["id"] = caty_info["id"]
    # 获取该类目下的商品列表
    get_good_list(caty_info['id'], caty_info['name'])

之后，获取到的数据如图：

我这里是按照大的类目去分的sheet 。

总结：

1. 我理解的爬虫其实就是模拟浏览器请求，去获取数据，之后将数据按照自己的要求去保存excel或者是数据库。

2. 数据获取可以通过访问接口 ( ps：也可以通过获取网页html，抓取html标签元素去获得数据 )

3. 注意编码：

3.1： 代码中有中文的，Python文件的开头需要设置：

# -- coding: UTF-8 --
　3.2 ：windows下，Python的默认编码是ASCII，但是为了开发方便，一般开发者都是设置的UTF-8。

python操作Excel的时候，如果插入数据有中文，需要在创建workbook的时候，设置UTF-8：

workbook = xlwt.Workbook(encoding=‘utf-8’)
　　　 python操作Excel的时候，如果文件名有中文，也需要给文件名设置UTF-8：

filename = “爬取结果.xls”.decode(encoding=“utf-8”)

以上，就是我这个python小白的初体验，希望可以帮助到python的初学者~