用excel存储爬取下来的数据的一种思路

由于刚学习爬虫,所以爬虫程序写的比较少,自己在这里做个笔记,关于爬取下来的一堆数据应该怎么存储。
我这里用到的方法是用列表类型保存数据,由于python的列表类型可以存储不同的数据类型,所以可以说十分万金油了
代码如下

            if len(inq) != 0:
                inq = inq[0].replace("。", "")
                data.append(inq)  # 添加概述
            else:
                data.append(" ")

            bd = re.findall(findBd,item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉文本里的换行符
            bd=re.sub('/','',bd)
            data.append(bd.strip())   #去掉前后的空格

            datalist.append(data)   #把处理好的一部电影信息放进datalist

可以直接调用append()方法不停地加入数据,正好是[ [ ],[ ],[ ],[ ] ]这样的数据结构,非常方便保存到excel表里面,其实也便于保存到数据库里面

保存的操作代码如下:

def saveData(datalist,savepath):
    book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建workbokk对象
    sheet = book.add_sheet('豆瓣电影top250')
    col = ('电影详情链接',"图片链接","影片中文名","影片外文名","评分","评价数","概述","相关信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])   #列名
    for i in range(0,250):
        print("第",i,"条")
        data = datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])   #数据
    book.save(savepath)   #保存文档
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值