python爬虫（一）

1. 写入图片

#传入图片地址，文件名，保存单张图片
def saveImg(self,imageURL,fileName):
     u = urllib.urlopen(imageURL)
     data = u.read()
     f = open(fileName, 'wb')
     f.write(data)
     f.close()

1. 写入文件

def saveBrief(self,content,name):
    fileName = name + "/" + name + ".txt"
    f = open(fileName,"w+")
    print u"保存信息",fileName
    f.write(content.encode('utf-8'))

1. 创建新文件夹

创建新目录
def mkdir(self,path):
    path = path.strip()
    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists=os.path.exists(path)
    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        return True
    else:
        # 如果目录存在则不创建，并提示目录已存在
        return False

1. 看完《python数据采集》第一章，将demo网页中的图片和图片信息存至本地作为练手，保存备忘

import urllib
from bs4 import BeautifulSoup


def saveImg(imageURL, fileName):
    u = urllib.urlopen(imageURL)
    data = u.read()
    f = open("/home/zhangbo/PycharmProjects/reptile/"+fileName, 'wb')
    f.write(data)
    f.close()

main_url = "http://www.pythonscraping.com/pages/"
response = urllib.urlopen(main_url+"page3.html")
bsObj = BeautifulSoup(response.read())
giftList = bsObj.find_all("tr",{"class":"gift"})
for gift in giftList:
    fileName = gift.find_all("td")[0].get_text().strip()
    imgURL = main_url + str(gift.find_all("td")[3].find("img"))[10:31]
    saveImg(imgURL, fileName)