前言
我们身处在网络的世界,我们的工作,生活都离不开它,但是有的时候断网或则回老家网路都很差的时候,你是怎么解决的呢?要是我的话我会在前一个天,把我要用的文件,音乐,视频缓存到本地,但是每次都要搜索关键字然后在去缓存,很麻烦我们可不可以用python来代替一下自动完成这些手动来完成的事呢?
搜索关键字并把网页保存到本地:
1.输入一个关键字"NBA";
2.把关键子用urllib.request.quote( )方法进行编码;
3.利用百度的URL+关键字,搜索网页;
4.用url lib.request.Request( )得到一个完整的请求;
5.urlopen( )方法打开URL,并读取;
6.新建一个html,并把数据写入到本地文件;
样文件就下载完成了,观察浏览器是不是发现,这已经是一个本地网页。
缓存新闻到本地:
1.新建一个变量url,用来读区网页;
2.urlopen( )方法打开URL,并读取;
3.decode方法转换成str类型;
4.分析网页得到一个正则表达式pat;
5.findall方法的到所有的新闻url;
6.用for 循环遍历所有get_url的下标;
7.用try--except来扑捉爬虫出现的错误和异常,这样可以是爬虫遇到错误不会直接挂掉;
8.直接使用url lib.request.uirintrieve( )下载网页到本地,一定用定义一个文件路径用来保存;
9.用urllib.error.URLEror来获得错误代码和错误原因;
运行结果如下:
可以看到成功的爬取了65个网页并保存到了本地;
本地文件夹相应的出现了65个html文件,直接放到浏览器就可以观看;
随便打开一个html文件,结果和我们预想的结果一样,不用怕没网不能看网页了,这只是一部分,只是提供一个思路,或许你做的更好,期待你的作品,发出来我们一起学习一下;
欢迎点击右上角关注➕转发,除了分享技术文章还有福利等你来拿,私信python可以领取python视频,PDF电子文档,爬虫等资料