如何从文本中获取url地址

最新推荐文章于 2024-07-10 17:31:12 发布

青龙摄影

最新推荐文章于 2024-07-10 17:31:12 发布

阅读量436

点赞数 7

文章标签： python

本文链接：https://blog.csdn.net/lfsysc/article/details/140279411

版权

#以下是对这段代码的逐步解释：
 
首先，使用  with open('url.txt', 'r') as file:  以只读模式打开名为  url.txt  的文件。这样做的好处是在代码块执行完后会自动关闭文件，无需手动关闭。
 
然后，通过  for line in file:  遍历文件中的每一行。
 
接着，使用条件判断  if 'ax_cursor=' in line:  ，如果当前行包含特定字符串  max_cursor=  。
 
如果满足条件，就将当前行除最后一个字符（可能是换行符）之外的内容赋值给变量  url  。
 
之后，使用  requests.get(url, headers=headers)  向获取到的  url  发送请求，其中  headers  是请求头信息。
import requests

headers = {
    
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6261.95 Safari/537.36',
    
}

params = {
    'a': '6383',
    'ch': '54',

}





shizi_list = []
with open("url.txt",'r') as file:
    count = 1
    for line in file:
        if 'v3-web.' in line:
            newurl = line[:-1]
            print(newurl)
            if newurl in shizi_list:
              continue
            else:
                shizi_list.append(newurl)
                nurl = shizi_list[-1]
                print(nurl)
            response = requests.get(newurl,params=params,headers=headers,)
            open(f'./hanzi4/{count}.mp4', 'wb').write(response.content)
            count += 1