爬虫(101)爬点重口味的

小弟最近在学校无聊的很哪,浏览网页突然看到一张图片,都快流鼻血。。。

然后小弟冥思苦想,得干一点有趣的事情

python 爬虫库安装

https://s.taobao.com/api?_ksTS=1540176287763_226&callback=jsonp227&ajax=true&m=customized&sourceId=tb.index&_input_charset=utf-8&bcoffset=-1&commend=all&suggest=history_1&source=suggest&search_type=item&ssid=s5-e&suggest_query=&spm=a21bo.2017.201856-taobao-item.2&q=内衣女&s=36&initiative_id=tbindexz_20170306&imgfile=&wq=&ie=utf8&rn=9e6055e3af9ce03b743aa131279aacfd

结果简化为

上车了

注意:光理论是不够的,在此送大家一套2020最新Python全栈实战视频教程,点击此处 进来获取  跟着练习下,希望大家一起进步哦!

 

 

d01373f082025aaf993b55e540ef7160034f1a9d.png?token=147cc19b1b6d2f5f03f999df1db47b3f&s=D028BF577E37188EB400C16E0300605Buploading.4e448015.gif转存失败重新上传取消d01373f082025aaf993b55e540ef7160034f1a9d.png?token=147cc19b1b6d2f5f03f999df1db47b3f&s=D028BF577E37188EB400C16E0300605Buploading.4e448015.gif正在上传…重新上传取消

 

根据我们的火眼金睛,对奶罩各种信息的分析,代码应该这样撸:

import requests
import json
url = "https://s.taobao.com/api?callback=jsonp227&m=customized&q=内衣女&s=36"
r = requests.get(url)
response = r.text
# 截取成标准的JSON格式
# 由于Ajax返回的数据是字符串格式的饿,在返回的值jsonp227(XXX)中
# XXX部分是JSON格式数据,因此先用字符串split()截取XXX部分,
#然后将XXX部分由字符串格式转成JSON格式的数据读取
response = response.split('(')[1].split(')')[0]
# 读取JSON
response_dict = json.loads(response)
# 定位到商品信息列表
response_auctions_info = response_dict['API.CustomizedApi']['itemlist']['auctions']

再爬他个 88 遍

for p in range(88):
    url = "https://s.taobao.com/api?callback=jsonp227&m=customized&q=内衣女&s=%s" % (p)
    r = requests.get(url)
    # 获取响应信息字符串
    response = r.text
    # 转换成JSON格式
    response = response.split('(')[1].split(')')[0]
    # 加载数据
    response_dict = json.loads(response)
    # 商品信息
    response_auctions_info = response_dict['API.CustomizedApi']['itemlist']['auctions']

我再加一层,爬取内衣

for k in ['内衣女','内衣']:
for p in range(88):
    url = "https://s.taobao.com/api?callback=jsonp227&m=customized&q=%s&s=%s" % (k,p)
    r = requests.get(url)
    response = r.text
    response = response.split('(')[1].split(')')[0]
    response_dict = json.loads(response)
    # 商品信息
    response_auctions_info = response_dict['API.CustomizedApi']['itemlist']['auctions']

最后就是数据存储

def get_auctions_info(response_auctions_info,file_name):
    with open(file_name,'a',newline='') as csvfile:
        # 生成CSV对象,用于写入CSV文件
        writer = csv.writer(csvfile)
        for i in response_auctions_info:
            # 判断是否数据已经记录
            if str(i['raw_title']) not in auctions_distinct:
                # 写入数据
                # 分别是商品信息列表和CSV文件路径。
                # 但该文件并没有对CSV设置表头,所以在开始获取数据之前。
                # 应该生成对应CSV文件,并设定其表头
                writer.writerrow([i['raw_title'],i['view_price'],i['view_sales'],i['nick'],i['item_loc']])

                auctions_distinct.append(str(i['raw_title']))
        csvfile.close()

哇,好辛苦啊,撸的这么辛苦,希望各位尽情享受吧 。最后贴出爬取内容信息如下:

注意:最后送大家一套2020最新企业Pyhon项目实战视频教程,点击此处 进来获取  跟着练习下,希望大家一起进步哦!

展开阅读全文

05-08 1081

v8worker

05-06 1197

学习秘籍

没有更多推荐了,返回首页