项目说明
使用Python写网络爬虫之爬取百思不得姐视频并保存至文件示例
使用工具
Python2.7.X、pycharm
使用方法
在pycharm中创建一个爬取百思不得姐视频.py文件,并在当前目录下创建video文件夹来存放抓取的视频文件,撰写代码,运行代码,查看运行结果
操作原理
1.首先先了解正则表达式的使用方法,见:正则表达式
2.找到百思不得姐的视频主页URL:http://www.budejie.com/video/
通过火狐浏览器的fire bug工具分析,可以看出来,链接中class=j-r-list-c里就存在有对应的视频名称和视频链接;
然后,右击查看页面源码:
![img_4b446bbb4d54079ccc09b16dc0d202bb.png](https://i-blog.csdnimg.cn/blog_migrate/876b056886d08ec5b41499b757058b4c.png)
页面源码
下图为视频链接地址
![img_f44d19269753b6a730d11ddd260512a2.png](https://i-blog.csdnimg.cn/blog_migrate/19f62295526fc79fa774aaf3c38351ee.png)
视频链接地址
程序代码:
![img_9297d62f7416b00e4c37679730646bc6.png](https://i-blog.csdnimg.cn/blog_migrate/5064425e3d9c7b720c69435dd41226b8.png)
程序代码
运行结果:
![img_e0cd28ce2f945d8831e5aa6707b43c50.png](https://i-blog.csdnimg.cn/blog_migrate/d43a195c56ed9b062fe601389b62085b.png)
运行结果
可以看到,运行程序后在video文件夹中已经存放有爬取的视频名称和链接。