python爬虫(一)

转载 2016年08月30日 15:09:04
  1. 写入图片
#传入图片地址,文件名,保存单张图片
def saveImg(self,imageURL,fileName):
     u = urllib.urlopen(imageURL)
     data = u.read()
     f = open(fileName, 'wb')
     f.write(data)
     f.close()
  1. 写入文件
def saveBrief(self,content,name):
    fileName = name + "/" + name + ".txt"
    f = open(fileName,"w+")
    print u"保存信息",fileName
    f.write(content.encode('utf-8'))
  1. 创建新文件夹
创建新目录
def mkdir(self,path):
    path = path.strip()
    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists=os.path.exists(path)
    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        return True
    else:
        # 如果目录存在则不创建,并提示目录已存在
        return False
  1. 看完《python数据采集》第一章,将demo网页中的图片和图片信息存至本地作为练手,保存备忘
import urllib
from bs4 import BeautifulSoup


def saveImg(imageURL, fileName):
    u = urllib.urlopen(imageURL)
    data = u.read()
    f = open("/home/zhangbo/PycharmProjects/reptile/"+fileName, 'wb')
    f.write(data)
    f.close()

main_url = "http://www.pythonscraping.com/pages/"
response = urllib.urlopen(main_url+"page3.html")
bsObj = BeautifulSoup(response.read())
giftList = bsObj.find_all("tr",{"class":"gift"})
for gift in giftList:
    fileName = gift.find_all("td")[0].get_text().strip()
    imgURL = main_url + str(gift.find_all("td")[3].find("img"))[10:31]
    saveImg(imgURL, fileName)


机器学习-数据挖掘遇到问题-考虑处理的方向

项目遇到的问题: 1.数据异常值没处理,导致的效果问题 2.正负样本的非均衡问题 3.过拟合问题 4.模型效果差的问题 5.优化调参,迭代,batch_size的问题 6.维度高维,处理,...

推荐

[协同过滤] : 交替最小二乘法 1. 基础回顾 矩阵的奇异值分解 SVD (特别详细的总结,参考 http://blog.csdn.net/wangzhiqing3...

Python爬虫开发与项目实战 本书为pdf

  • 2017年12月01日 15:45
  • 94.49MB
  • 下载

python微博爬虫—通过ID

  • 2017年11月27日 22:50
  • 6KB
  • 下载

Python爬虫系列之----Scrapy(七)使用IP代理池

一、手动更新IP池 1.在settings配置文件中新增IP池: IPPOOL=[ {"ipaddr":"61.129.70.131:8080"}, {"ipaddr":"61.152.8...

用python写网络爬虫书本源码

  • 2017年12月15日 14:53
  • 4.67MB
  • 下载

爬虫python

  • 2017年12月06日 14:46
  • 2KB
  • 下载

Python2 爬虫(三) -- 爬CSDN全部博文(自动获取页数)

在这里就学习一下python的字符串处理然后获取到页数之后,我们就啥也不用改,直接运行代码即可获得所有博文。全局变量。这里我们还要学习一下全局变量的问题import requests import r...

Python爬虫开发项目实战电子书.pdf

  • 2017年11月24日 20:57
  • 105.41MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python爬虫(一)
举报原因:
原因补充:

(最多只允许输入30个字)