闲的无聊,爬取了某视频网的所有搞笑视频,并且整理了每个视频的名字和地址放在了一个txt文本中,因为只是娱乐的操作,考虑到对方服务器的负荷,就只爬取了10页的内容,这样如果喜欢做视频的下伙伴就有素材了
网页是动态的,所以获取的是json数据,然后再细处理
话不多说,代码如下;
import requests
import pprint
import os
if not os.path.exists('视频文件夹'):
os.makedirs('视频文件夹')
url = 'https://www.ku6.com/video/feed?'
def get_params(page):
params = {
'pageNo': page,
'pageSize': '40',
'subjectId': '76'
}
return params
for i in range(0, 10):
params = get_params(i)
print('--------第{}页正在下载'.format(i))
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
response = requests.get(url, headers=headers, params=params).json()
# pprint.pprint(response)
list_data = response['data']
# print(list_data)
for data in list_data:
# pprint.pprint(data)
data_mp4 = data['playUrl']
data_name = data['desc']
cc = '视频名字:', data_name, '视频地址:', data_mp4
print('视频名字:', data_name, '视频地址:', data_mp4)
with open('视频文件夹//'+'视频数据.txt', mode='a', encoding='utf-8')as f:
f.write(str(cc))
适当娱乐,切勿盈利,更多代码尽在:CSDNmp.csdn.net