Python2.7网页爬虫实战，BeautifulSoup抓取网页图片和页面重要信息

最新推荐文章于 2022-02-19 10:31:42 发布

不安分的猿人

最新推荐文章于 2022-02-19 10:31:42 发布

阅读量575

点赞数

分类专栏：爬虫 python BeautifulSoup

本文链接：https://blog.csdn.net/huaairen/article/details/83758570

版权

本文介绍了一个使用Python2.7和BeautifulSoup编写的网页爬虫示例，该示例能抓取网站上的图片并保存到指定文件夹，同时将页面关键信息存储为TXT文件。项目源码可在Gitee上找到。尽管该程序可正常运行，但长时间运行后可能会遇到未知问题。

摘要由CSDN通过智能技术生成

自己用python+BeautifulSoup做的一个小工具，获取网站的图片存入指定文件夹，获取页面重要信息存入txt文件。代码如下：

__author__ = 'wangzg'
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import cookielib
import bs4
import sys
import os

reload(sys)
sys.setdefaultencoding( "utf-8" )

f = open('chunguowangInfo.txt', 'w') 
imageDir = 'chunguowangImgs'
imagesf = open('chunguowangImgsInfo.txt', 'w') 
if os.path.exists(imageDir):
    message = 'OK, the "%s" file exists.'
else:
    #message = "Sorry, I cannot find the "%s" file.
	os.makedirs(imageDir)
pwd = os.getcwd()

user_agent ='"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36"'  
headers = { 'User-Agent' : user_agent }  

'''cj=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookie