【Web_接口爬虫_Python3_豆瓣电影TOP50_threading&requests】（豆瓣）电影TOP-50，多线程接口爬虫电影名称和地址，自动化测试案例

最新推荐文章于 2023-08-12 18:36:15 发布

铜锣烧1号

最新推荐文章于 2023-08-12 18:36:15 发布

阅读量954

点赞数

分类专栏：接口测试文章标签： python thread request 软件测试

本文链接：https://blog.csdn.net/denzeleo/article/details/100577527

版权

接口测试专栏收录该内容

30 篇文章 1 订阅

订阅专栏

#!/usr/bin/env/python3
# -*- coding:utf-8 -*-
'''
Author:leo
Date&Time:2019-08-30 and 18:32
FileName:20190830_豆瓣top50（多线程读取资源）.py
Description：...
'''
import time,threading,requests
from pprint import pprint

# 获取当前格式化-年月日：时分秒
nowTime = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))

text_str = ""
# 2019豆瓣热门电视剧
url1 = "https://movie.douban.com/j/search_subjects?type=tv&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0"
# 2019豆瓣热门新片
url2 = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0"
# 创建锁对象
lock = threading.Lock()

# 定义线程函数
def addshread(num,url):
    global text_str
    print("\n----开始启动线程%s号----\n" %(num))
    
    # 涉及到重要数据操作，上锁，资源只允许1号线程使用
    lock.acquire()
    print("\n--%s号线程，已上锁" %(num))
    
    # 通过接口抓取电影名称/平凡/地址
    re_text = requests.get(url=url)
    re_text = re_text.json()
    count = 1
    for i in re_text["subjects"]:
        print(f"{count:0>2}.Title：--{i['title']:<5}\nRate：{i['rate']:<5}\nUrl：{i['url']}")
        count += 1

    # ---释放资源：解锁，资源转给2号线程使用
    lock.release()
    print("\n--%s号线程，已解锁" %(num))

if __name__ == '__main__':
    t1 = threading.Thread(target=addshread, args=("1", url1))
    t2 = threading.Thread(target=addshread, args=("2", url2))

    t1.start(), t1.join(), t2.start(), t2.join()

----开始启动线程1号----

01.Title：--致命女人
Rate：9.4
Url：https://movie.douban.com/subject/30401122/
02.Title：--小欢喜
Rate：8.4
Url：https://movie.douban.com/subject/26946624/
03.Title：--外星女生柴小七
Rate：6.9
Url：https://movie.douban.com/subject/30357962/
04.Title：--侦探医生
Rate：7.6
Url：https://movie.douban.com/subject/33218324/
05.Title：--我的邻居睡不着
Rate：6.8
Url：https://movie.douban.com/subject/33437036/
06.Title：--陈情令
Rate：8.1
Url：https://movie.douban.com/subject/27195020/
07.Title：--轮到你了
Rate：8.7
Url：https://movie.douban.com/subject/30446788/
08.Title：--凪的新生活
Rate：9.2
Url：https://movie.douban.com/subject/33418567/
09.Title：--长安十二时辰
Rate：8.4
Url：https://movie.douban.com/subject/26849758/
10.Title：--老酒馆
Rate：8.3
Url：https://movie.douban.com/subject/30345195/
11.Title：--德鲁纳酒店
Rate：8.0
Url：https://movie.douban.com/subject/30433323/
12.Title：--宸汐缘
Rate：8.0
Url：https://movie.douban.com/subject/30230682/
13.Title：--全裸导演第一季
Rate：8.0
Url：https://movie.douban.com/subject/30360724/
14.Title：--全职高手
Rate：7.3
Url：https://movie.douban.com/subject/26660368/
15.Title：--黑袍纠察队第一季
Rate：8.6
Url：https://movie.douban.com/subject/3703650/
16.Title：--心灵猎人第二季
Rate：8.8
Url：https://movie.douban.com/subject/27008551/
17.Title：--中餐厅第三季
Rate：3.9
Url：https://movie.douban.com/subject/33422361/
18.Title：--浪漫的体质
Rate：8.9
Url：https://movie.douban.com/subject/30464551/
19.Title：--加油，你是最棒的
Rate：7.4
Url：https://movie.douban.com/subject/30337138/
20.Title：--烈火军校
Rate：6.7
Url：https://movie.douban.com/subject/30157168/
21.Title：--乐队的夏天
Rate：8.7
Url：https://movie.douban.com/subject/30357990/
22.Title：--脱口秀大会第二季
Rate：7.5
Url：https://movie.douban.com/subject/34431573/
23.Title：--喜欢的话请响铃
Rate：7.7
Url：https://movie.douban.com/subject/26955950/
24.Title：--请回答1988
Rate：9.7
Url：https://movie.douban.com/subject/26302614/
25.Title：--非自然死亡
Rate：9.4
Url：https://movie.douban.com/subject/27140017/
26.Title：--极限17 羽你同行
Rate：7.7
Url：https://movie.douban.com/subject/30481914/
27.Title：--我们与恶的距离
Rate：9.5
Url：https://movie.douban.com/subject/30181230/
28.Title：--九州缥缈录
Rate：6.3
Url：https://movie.douban.com/subject/26738112/
29.Title：--一路成年
Rate：7.9
Url：https://movie.douban.com/subject/30477206/
30.Title：--亲爱的，热爱的
Rate：6.6
Url：https://movie.douban.com/subject/26794191/
31.Title：--手术两百年
Rate：9.4
Url：https://movie.douban.com/subject/27182719/
32.Title：--轮到你了番外篇房门之内
Rate：9.0
Url：https://movie.douban.com/subject/33435891/
33.Title：--人生一串第二季
Rate：8.6
Url：https://movie.douban.com/subject/33437160/
34.Title：--他乡的童年
Rate：9.1
Url：https://movie.douban.com/subject/34807388/
35.Title：--圆桌派第四季
Rate：8.7
Url：https://movie.douban.com/subject/30269908/
36.Title：--邻家诗话
Rate：8.8
Url：https://movie.douban.com/subject/34444276/
37.Title：--我们不能是朋友
Rate：7.3
Url：https://movie.douban.com/subject/30309331/
38.Title：--他人即地狱
Rate：8.3
Url：https://movie.douban.com/subject/30442494/
39.Title：--大宋少年志
Rate：8.2
Url：https://movie.douban.com/subject/30170894/
40.Title：--做家务的男人
Rate：7.4
Url：https://movie.douban.com/subject/30357991/
41.Title：--大小谎言第二季
Rate：9.0
Url：https://movie.douban.com/subject/27195401/
42.Title：--浴血黑帮第五季
Rate：9.5
Url：https://movie.douban.com/subject/26803472/
43.Title：--这个不可以报销！
Rate：8.2
Url：https://movie.douban.com/subject/33468413/
44.Title：--我的天才女友第一季
Rate：9.3
Url：https://movie.douban.com/subject/28427782/
45.Title：--杀死伊芙第二季
Rate：8.9
Url：https://movie.douban.com/subject/30198838/
46.Title：--狂欢命案第一季
Rate：7.3
Url：https://movie.douban.com/subject/26313808/
47.Title：--我是大哥大
Rate：9.1
Url：https://movie.douban.com/subject/30183785/
48.Title：--心动的信号第二季
Rate：7.5
Url：https://movie.douban.com/subject/30458142/
49.Title：--三时三餐山村篇
Rate：9.3
Url：https://movie.douban.com/subject/34440329/
50.Title：--奋斗吧，少年！
Rate：7.1
Url：https://movie.douban.com/subject/27145057/

--1号线程，已上锁

--1号线程，已解锁

----开始启动线程2号----

01.Title：--寄生虫
Rate：8.7
Url：https://movie.douban.com/subject/27010768/
02.Title：--疾速备战
Rate：7.9
Url：https://movie.douban.com/subject/26909790/
03.Title：--他们(国际版)
Rate：7.1
Url：https://movie.douban.com/subject/34431400/
04.Title：--一百样东西
Rate：7.0
Url：https://movie.douban.com/subject/30172751/
05.Title：--扫毒2天地对决
Rate：6.0
Url：https://movie.douban.com/subject/30171425/
06.Title：--恶人传
Rate：7.7
Url：https://movie.douban.com/subject/30211551/
07.Title：--X战警：黑凤凰
Rate：6.0
Url：https://movie.douban.com/subject/26667010/
08.Title：--绿皮书
Rate：8.9
Url：https://movie.douban.com/subject/27060077/
09.Title：--流浪地球
Rate：7.9
Url：https://movie.douban.com/subject/26266893/
10.Title：--爱宠大机密2
Rate：7.1
Url：https://movie.douban.com/subject/26848167/
11.Title：--黑衣人：全球追缉
Rate：5.6
Url：https://movie.douban.com/subject/19971676/
12.Title：--沦落人
Rate：8.2
Url：https://movie.douban.com/subject/30140231/
13.Title：--疯狂的外星人
Rate：6.4
Url：https://movie.douban.com/subject/25986662/
14.Title：--孟买酒店
Rate：8.4
Url：https://movie.douban.com/subject/26794701/
15.Title：--毒液：致命守护者
Rate：7.2
Url：https://movie.douban.com/subject/3168101/
16.Title：--飞驰人生
Rate：6.9
Url：https://movie.douban.com/subject/30163509/
17.Title：--丧尸未逝
Rate：5.9
Url：https://movie.douban.com/subject/30274839/
18.Title：--复仇者联盟4：终局之战
Rate：8.6
Url：https://movie.douban.com/subject/26100958/
19.Title：--阿拉丁
Rate：7.7
Url：https://movie.douban.com/subject/26891256/
20.Title：--阿丽塔：战斗天使
Rate：7.5
Url：https://movie.douban.com/subject/1652592/
21.Title：--无名之辈
Rate：8.1
Url：https://movie.douban.com/subject/27110296/
22.Title：--阴曹使者
Rate：6.3
Url：https://movie.douban.com/subject/30181079/
23.Title：--海王
Rate：7.6
Url：https://movie.douban.com/subject/3878007/
24.Title：--蜘蛛侠：平行宇宙
Rate：8.6
Url：https://movie.douban.com/subject/26374197/
25.Title：--调音师
Rate：8.3
Url：https://movie.douban.com/subject/30334073/
26.Title：--无双
Rate：8.1
Url：https://movie.douban.com/subject/26425063/
27.Title：--我身体里的那个家伙
Rate：7.1
Url：https://movie.douban.com/subject/27088750/
28.Title：--白蛇：缘起
Rate：7.9
Url：https://movie.douban.com/subject/30331149/
29.Title：--跳舞吧！大象
Rate：5.1
Url：https://movie.douban.com/subject/30259043/
30.Title：--波西米亚狂想曲
Rate：8.7
Url：https://movie.douban.com/subject/5300054/
31.Title：--痛苦与荣耀
Rate：8.6
Url：https://movie.douban.com/subject/30198539/
32.Title：--地久天长
Rate：7.9
Url：https://movie.douban.com/subject/26715636/
33.Title：--回到过去拥抱你
Rate：4.8
Url：https://movie.douban.com/subject/27073835/
34.Title：--一条狗的使命2
Rate：6.9
Url：https://movie.douban.com/subject/27074316/
35.Title：--哥斯拉2：怪兽之王
Rate：6.3
Url：https://movie.douban.com/subject/25890017/
36.Title：--同义词
Rate：7.0
Url：https://movie.douban.com/subject/27047918/
37.Title：--我的一级兄弟
Rate：8.3
Url：https://movie.douban.com/subject/30143333/
38.Title：--风中有朵雨做的云
Rate：7.2
Url：https://movie.douban.com/subject/26728669/
39.Title：--神奇动物：格林德沃之罪
Rate：7.1
Url：https://movie.douban.com/subject/26147417/
40.Title：--小委托人
Rate：8.0
Url：https://movie.douban.com/subject/33404726/
41.Title：--无敌破坏王2：大闹互联网
Rate：8.1
Url：https://movie.douban.com/subject/20438964/
42.Title：--安娜贝尔3：回家
Rate：5.8
Url：https://movie.douban.com/subject/30207919/
43.Title：--偷心女盗
Rate：5.7
Url：https://movie.douban.com/subject/3230155/
44.Title：--夏目友人帐
Rate：8.0
Url：https://movie.douban.com/subject/27166442/
45.Title：--影
Rate：7.2
Url：https://movie.douban.com/subject/4864908/
46.Title：--大侦探皮卡丘
Rate：6.6
Url：https://movie.douban.com/subject/26835471/
47.Title：--大黄蜂
Rate：7.0
Url：https://movie.douban.com/subject/26394152/
48.Title：--密室逃生
Rate：7.2
Url：https://movie.douban.com/subject/27109679/
49.Title：--海市蜃楼
Rate：7.8
Url：https://movie.douban.com/subject/30164448/
50.Title：--过春天
Rate：7.7
Url：https://movie.douban.com/subject/27191431/

--2号线程，已上锁

--2号线程，已解锁

Process finished with exit code 0

铜锣烧1号

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【Web_接口爬虫_Python3_豆瓣电影TOP50_threading&requests】（豆瓣）电影TOP-50，多线程接口爬虫电影名称和地址，自动化测试案例

#!/usr/bin/env/python3# -*- coding:utf-8 -*-'''Author:leoDate&Time:2019-08-30 and 18:32FileName:20190830_豆瓣top50（多线程读取资源）.pyDescription：...'''import time,threading,requestsfrom pprint im...
复制链接

扫一扫