用awk下载优酷视频

        awk是一种优秀的文本处理工 具，用它来处理文本中的数据非常方便。我们现在用的绝大部分是gawk，也就是gnu awk，gnu的软件一贯表现不错，跟其他AWK的实现版本比起来，gawk添加了对网络的支持，比如我可以用awk模拟发送http请求给浏览器，然后 用正则表达式过滤网页内容，例如这里是一个awk和sed搭配获取五大联赛计分表的shell程序。

        gawk编程最权威的资料在其info帮助文件里，这份帮助资料值得称道的并不是它全面的reference,而是里面包含了大量akw应用的实例。虽然用gawk进行网络编程有点类似所谓的奇技淫巧，但是相比用c来完成同样的工作，awk还是颇具生产力的。

        下面这个程序是用来获取youku视频的，程序运行起来是这个样子：

 

       

        程序的基本原理是用gawk发送http请求，获取服务器返回的信息，然后根据这些信息进行一些处理后重新发送，经过三次请 求，youku会发送真正的flv地址，根据这个真实地址就可以下载了，由于gawk在I/O这方面功能很弱，所以我在gawk中通过system()调 用curl来完成这最后一步的下载。

        这个程序可以在命令行下如此调用：

 

         gawk -f get_youku.awk youku.txt

 

        其中youku是视频所在的网页地址和下载回来后要保存的名称，其格式可以这样：

 

 

          csdn blog的代码模板没有awk，代码有300多行，下面是代码，可能有点乱，有兴趣仔细研究的可以留下邮箱索取源代码。

1. #! /usr/bin/gawk -f
2. 
   
3. 
   
4. ################################################################################
5. #
6. #优酷视频下载器
7. #
8. #Author: hailongchang@163.com
9. #
10. #Date:   11/15/2008
11. #
12. ################################################################################
13. {
14.     adr = $1;
15.     fn = $2;
16.     download_video(adr,fn);
17.    
18. }
19. 
    
20. ################################################################################
21. #实际的下载函数，参数url是flv的网络地址，filename是下载后保存的名称
22. ################################################################################
23. function download_video(url,filename)
24. {
25. 
    
26.     Get_Info(Get_Vid(url));    
27.     system("echo ========================================================================================");
28. 
    
29. 
    
30.     for(i=1;i<=video_info["clipcn"];i++)
31.     {
32.      if(video_info["clipcn"] > 1)
33.      {
34.          filename = filename "_" i;
35.      }
36. 
    
37.     tlink = "url_" i;
38.     filename = filename ".flv";
39. 
    
40.     echo_hint = "正在为您下载 : " filename;
41.     echo_command = "echo " echo_hint;
42. 
    
43.     system(echo_command);
44.     system("echo");
45. 
    
46.     command = "curl " Identify_video(video_info[tlink]) " >" filename;
47.     system(command);
48. 
    
49.     system("echo");
50.     system("echo ========================================================================================");
51. 
    
52.      }
53. 
    
54. }
55. 
    
56. ################################################################################
57. #提取网页地址，参数web_url来自于youtube.txt，是视频所在的网页地址
58. ################################################################################
59. 
    
60. function Get_url(web_url)
61. {
62.     gsub(/http://///,"",web_url)
63.     gsub(/v/.youku/.com/,"",web_url)
64.     return web_url;
65. }
66. ################################################################################
67. #提取视频id的函数
68. ################################################################################
69. 
    
70. function Get_Vid(web_url)
71. {
72.     RS="/r/n"
73. 
    
74.     url = Get_url(web_url)
75. 
    
76.     InetFile = "/inet/tcp/0/v.youku.com/80"
77.     Request = "GET " url " HTTP/1.1/r/n"
78.     Request = Request "Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-shockwave-flash, */*"
79.     Request = Request "Accept-Language: zh-cn/r/n"
80.     Request = Request "UA-CPU: x86/r/n"
81.     Request = Request "Accept-Encoding: unzip, deflate/r/n"
82.     Request = Request "User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT5.1; .NET CLR 1.1.4322)/r/n"
83.     Request = Request "Host: v.youku.com/r/n/r/n"
84.     
85.     print Request |& InetFile;
86. 
    
87.     while((InetFile |& getline) >0)
88.     {
89.     if(match($0,/videoId = '[0-9]*'/,matchtext))
90.     {
91.         if(match(matchtext[0],/'[0-9]*'/,array_vid))
92.         {
93.         vid = array_vid[0];
94.         gsub(/'/,"",vid);
95.         }
96.     }
97.     }
98. 
    
99.     close(InetFile);
100.     return vid;
101. 
     
102. }
103. ################################################################################
104. #获取服务器发送的key
105. ################################################################################
106. 
     
107. function Get_key(item)
108. {
109.     split(item,item_info,":")
110.     gsub(/"/,"",item_info[2])
111.     return item_info[2]
112. }
113. ################################################################################
114. #获取视频的大小
115. ################################################################################
116. 
     
117. function Get_size(item)
118. {
119.     split(item,item_info,":")
120.     gsub(/"/,"",item_info[3])
121.     gsub(/}/,"",item_info[3])
122.     return item_info[3]
123.     
124. }
125. ################################################################################
126. #获取视频的seed
127. ################################################################################
128. 
     
129. function Get_seed(item)
130. {
131.     split(item,item_info,":")
132.     return item_info[2]
133. 
     
134. }
135. 
     
136. ################################################################################
137. #一个随机数发生器
138. ################################################################################
139. 
     
140. function Genrate_rand() 
141. { 
142. 
     
143.    seed = (seed * 211 + 30031) % 65536; 
144.    num = seed / 65536;
145.    return num;
146. } 
147. 
     
148. function convert_fileid(fileid) 
149. {
150.    split(fileid,fid,"*"); 
151.    i = 1;
152.    while(fid[i] != "")
153.    {
154. 
     
155.        i++;   
156.    }
157.    fid_length = i-1;
158. 
     
159.    cg_str = ""; 
160.    str = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ///:._-1234567890"; 
161. 
     
162.    seed = video_info["seed"];
163. 
     
164.    str_length = length(str);
165. 
     
166.    for (i = 1; i <= str_length; ++i) 
167.    {
168.        seed = (seed * 211 + 30031) % 65536;
169.        num = seed / 65536;
170.        pos = int(length(str) * num); 
171.           pos += 1;
172.        ch = substr(str,pos,1);
173.        cg_str = cg_str ch;
174.        split(str,str_array,ch);
175.        str = str_array[1] str_array[2];
176.     } 
177. 
     
178.     id = ""; 
179. 
     
180.     for (i = 1; i <= fid_length; ++i) 
181.     {
182.         id = id substr(cg_str,fid[i]+1,1); 
183. 
     
184.     }
185. 
     
186.     return (id); 
187. }
188. 
     
189. ################################################################################
190. #提取fileid
191. ################################################################################
192. 
     
193. function Get_fileid(item)
194. {
195.     split(item,item_info,":")
196.     gsub(/"/,"",item_info[2])
197. 
     
198.     split(item_info[2],fileid,"*")
199.     
200.     return item_info[2]
201. 
     
202. }
203. 
     
204. ################################################################################
205. #将16进制字符转换为数字
206. ################################################################################
207. 
     
208. function hex_convention(ch)
209. {
210.     if(ch == "a")
211.     num = 10;
212.     else if(ch == "b")
213.     num =  11;
214.     else if(ch == "c")
215.     num =  12;
216.     else if(ch == "d")
217.     num =  13;
218.     else if(ch == "e")
219.     num =  14;
220.     else if(ch == "f")
221.     num = 15;
222.     else
223.     num = ch;
224.     return num;
225. }
226. 
     
227. ################################################################################
228. #将16进制字符串转换为十进制数字
229. ################################################################################
230. 
     
231. function HexStr_int(str)
232. {
233.     sum = 0;
234. 
     
235.     for(i=length(str);i>=1;i--)
236.     {
237.     n = substr(str,i,1);
238.     tmp = 16**(length(str)-i);
239.     sum += (hex_convention(n)) * tmp;
240.     }
241.     return sum;
242. }
243. 
     
244. ################################################################################
245. #获取视频的相关信息
246. ################################################################################
247. 
     
248. function Get_Info(video_id)
249. {
250. 
     
251.     url = "/player/getPlayList/VideoIDS/" video_id "/version/v1.0.0312/source/video/password//Type/flv"; 
252.     flvHttpFile = "/inet/tcp/0/v.youku.com/80"
253.     Request = "GET " url " HTTP/1.1/r/n"
254.     Request = Request "Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-shockwave-flash, */*"
255.     Request = Request "Accept-Language: zh-cn/r/n"
256.     Request = Request "UA-CPU: x86/r/n"
257.     Request = Request "Accept-Encoding: unzip, deflate/r/n"
258.     Request = Request "User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT5.1; .NET CLR 1.1.4322)/r/n"
259.     Request = Request "Host: v.youku.com/r/n"
260.     
261.     print Request |& flvHttpFile
262. 
     
263.     while((flvHttpFile |& getline) > 0)
264.     {
265.     split($0,match_info,",");
266.     }
267.     close(flvHttpFile);
268. 
     
269.     i = 1;
270.     while(match_info[i]!="")
271.     {
272. 
     
273.     if(0 != match(match_info[i],/"seed".*/))
274.     {
275.         video_info["seed"] = Get_seed(match_info[i]);
276.     }
277.     if(0 != match(match_info[i],/"streamsizes".*/))
278.     {
279.         video_info["size"] = Get_size(match_info[i]);
280.     }
281.     
282.     if( 0 != match(match_info[i],/"fileid"/))
283.     {
284.         video_info["fileid"] = Get_fileid(match_info[i]);
285.     }
286.     if (0 != match(match_info[i],/"key1".*/))
287.     {
288.         video_info["key1"] = Get_key(match_info[i]);
289.     }
290.     if( 0 != match(match_info[i],/"key2".*/,match_key2))
291.     {
292.         video_info["key2"] = Get_key(match_info[i]);
293.     }
294.     i++;
295.     }
296. 
     
297. #     printf("/n/n");
298. #     printf("seed = %s/n",video_info["seed"]);
299. #     printf("size = %s/n",video_info["size"]);
300. #     printf("fileid = %s/n",video_info["fileid"]);
301. #     printf("key1 = %s/n",video_info["key1"]);
302. #     printf("key2 = %s/n/n",video_info["key2"]);
303. #     printf("/n/n")
304. 
     
305.     file_id = convert_fileid(video_info["fileid"]);
306. 
     
307. 
     
308.     key_stand = sprintf("%d",0xA55AA5A5);
309.     key1 = HexStr_int(video_info["key1"]);
310.     video_info["key1"] = sprintf("%x",xor(key1,key_stand));
311. 
     
312.     video_info["clipcn"] = int(substr(file_id,7,2));
313. 
     
314.     if(video_info["clipcn"] == 1)
315.     {
316.     last_url = "http://f.youku.com/player/getFlvPath/sid/00_00/st/flv/fileid/" 
317.     last_url = last_url file_id "?K=" video_info["key2"];
318.     last_url = last_url video_info["key1"];
319.     video_info["url_1"] = last_url;
320.     }
321.     else
322.     {
323.     for(i = 1; i<= video_info["clipcn"];i++ )
324.     {
325.         if(video_info["clipcn"] <= 10)
326.         {
327.         lev = "0" (i-1);
328. 
     
329.         }
330.         last_url = "http://f.youku.com/player/getFlvPath/sid/00_00/st/flv/fileid/" 
331.         last_url = last_url substr(file_id,1,8);
332.         last_url = last_url lev;
333.         last_url = last_url substr(file_id,11,length(file_id)-10);
334.         last_url = last_url "?K=";
335.         last_url = last_url video_info["key2"];
336.         last_url = last_url video_info["key1"];
337.         tlink = "url_" i;
338.         video_info[tlink] = last_url;
339.     }
340.     }    
341.     return;
342. }
343. 
     
344. 
     
345. ################################################################################
346. #最后一次放松http请求,服务器将返回真实的视频地址
347. ################################################################################
348. 
     
349. function Identify_video(req)
350. {
351.     InetDown = "/inet/tcp/0/f.youku.com/80"
352.     gsub(/http:f.youku.com/,"",req);
353.     Request = "GET " req " HTTP/1.1/r/n";
354.     Request = Request "Accept: */*/r/n";
355.     Request = Request "Cache-Control: no-cache/r/n";
356.     Request = Request "Connection: close/r/n";
357.     Request = Request "Host: f.youku.com/r/n";
358.     Request = Request "Pragma: no-cache/r/n";
359.     Request = Request "Referer:  http://f.youku.com/player/getFlvPath/sid/00_00/st/flv/fileid//r/n";
360.     Request = Request "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; )/r/n"
361.     Request = Request "/r/n";
362. 
     
363.     print Request |& InetDown;
364. 
     
365. 
     
366.     while((InetDown |& getline) >0)
367.     {
368.     pos = match($0,/http://///);
369.     if(0 != pos)
370.     {
371.         flvAddr = substr($0,pos,length($0) - 10);
372.     }
373. 
     
374.     }
375.     close(InetDown);
376. 
     
377.     return flvAddr;
378. 
     
379. }