python 多线程爬取考拉商品评论

#--coding:utf-8--+
from multiprocessing.dummy import Pool as ThreadPool
import requests
import multiprocessing
import json
import time

def commentslistbyindex(id):
     payload={"goodsId":"1351082",
           "grade":"0",
           "hasImg":"0",
           "hasAppend":"false",
           "hasContent":"1",
           "pageNo":"%d"%(id),
           "pageSize":"20"}
     ss=requests.post("https://comment.kaola.com/commentAjax/comment_list.html?xRequestedWith=XMLHttpRequest",data=payload).text
     str=json.loads(ss)
     for comment in   str["commentPage"]["result"]:
        print  comment["commentContent"]
        #pass
         
#apply_async
if __name__ == '__main__':
    multiprocessing.freeze_support()
    a=time.time()
    pool=ThreadPool(4)
    resultes=pool.map(commentslistbyindex,range(1,32))
    pool.close()
    pool.join()
    b=time.time()
    print b-a
 
接下来该进行评论分析了。。。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值