由于刚学习爬虫,所以爬虫程序写的比较少,自己在这里做个笔记,关于爬取下来的一堆数据应该怎么存储。
我这里用到的方法是用列表类型保存数据,由于python的列表类型可以存储不同的数据类型,所以可以说十分万金油了
代码如下
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq) # 添加概述
else:
data.append(" ")
bd = re.findall(findBd,item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd) #去掉文本里的换行符
bd=re.sub('/','',bd)
data.append(bd.strip()) #去掉前后的空格
datalist.append(data) #把处理好的一部电影信息放进datalist
可以直接调用append()方法不停地加入数据,正好是[ [ ],[ ],[ ],[ ] ]这样的数据结构,非常方便保存到excel表里面,其实也便于保存到数据库里面
保存的操作代码如下:
def saveData(datalist,savepath):
book = xlwt.Workbook(encoding="utf-8",style_compression=0) # 创建workbokk对象
sheet = book.add_sheet('豆瓣电影top250')
col = ('电影详情链接',"图片链接","影片中文名","影片外文名","评分","评价数","概述","相关信息")
for i in range(0,8):
sheet.write(0,i,col[i]) #列名
for i in range(0,250):
print("第",i,"条")
data = datalist[i]
for j in range(0,8):
sheet.write(i+1,j,data[j]) #数据
book.save(savepath) #保存文档