关闭

python爬虫(一)

标签: python爬虫
156人阅读 评论(0) 收藏 举报
分类:
  1. 写入图片
#传入图片地址,文件名,保存单张图片
def saveImg(self,imageURL,fileName):
     u = urllib.urlopen(imageURL)
     data = u.read()
     f = open(fileName, 'wb')
     f.write(data)
     f.close()
  1. 写入文件
def saveBrief(self,content,name):
    fileName = name + "/" + name + ".txt"
    f = open(fileName,"w+")
    print u"保存信息",fileName
    f.write(content.encode('utf-8'))
  1. 创建新文件夹
创建新目录
def mkdir(self,path):
    path = path.strip()
    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists=os.path.exists(path)
    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        return True
    else:
        # 如果目录存在则不创建,并提示目录已存在
        return False
  1. 看完《python数据采集》第一章,将demo网页中的图片和图片信息存至本地作为练手,保存备忘
import urllib
from bs4 import BeautifulSoup


def saveImg(imageURL, fileName):
    u = urllib.urlopen(imageURL)
    data = u.read()
    f = open("/home/zhangbo/PycharmProjects/reptile/"+fileName, 'wb')
    f.write(data)
    f.close()

main_url = "http://www.pythonscraping.com/pages/"
response = urllib.urlopen(main_url+"page3.html")
bsObj = BeautifulSoup(response.read())
giftList = bsObj.find_all("tr",{"class":"gift"})
for gift in giftList:
    fileName = gift.find_all("td")[0].get_text().strip()
    imgURL = main_url + str(gift.find_all("td")[3].find("img"))[10:31]
    saveImg(imgURL, fileName)


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:31974次
    • 积分:745
    • 等级:
    • 排名:千里之外
    • 原创:42篇
    • 转载:16篇
    • 译文:0篇
    • 评论:2条
    个人简介
    博客专栏
    最新评论