python爬虫数据存储文本_Python 爬虫第四篇（保存数据到文件）

在前面一篇 Python 爬虫第三篇（循环爬取多个网页）中介绍了如何让爬虫自动搜索网站中的链接并循环获取链接的内容，那么问题来了，既然我们通过爬虫自动获取了多个网页的内容，那么这些内容该怎么处理，如果仅仅是停留在内存中，且不说没有那么大的内存来存储这些数据，程序一旦停止这些数据将全部丢失，简单便捷的方法是将这些数据保存到硬盘上，本篇我们将一起来看下如何将数据存储在硬盘上。

先来看下本节我们将获得的结果，以下图片是获取到的所有的分类「将派去的连接数设置为 10000 条，通过程序一个小时的运行，我们获取的分类梳理大概有 306 个」。

以下是贴片电阻分类中后去的原件信息。

本节中我们要将网站中的原件分类进行存放，因此需要先获取原件的分类信息，首先我们现在网站上找到分类的位置，如下图

对应的 html 源码如下

因此我们只需要 下的 标签即可，然后通过判断 a 标签的 href 属性的内容来最终获取原件的分类。完整的代码如下def __get_category(self, soup):

soup_tag = soup.find('div', class_='bread_crumbs')

if soup_tag is None:

logger.error(soup)

return 'None'

category_tag = soup_tag.find(name='a', href=re.compile(r'https?://list.szlcsc.com.+'))

if category_tag is None:

logger.error(category_tag)

return 'None'

return category_tag.string

现在我们只需要将获取到的信息保存的文件中即可，保存内容到文件中的代码如下def __data_save(self, data):

if len(data) < 2:

logger.error('data length error : len = %d' %(len(data)))

return

filename = data[0] + 'a.txt'

strinfo = re.compile('[/]')

filename = re.sub(strinfo, '-', filename)

filename = './finally/' + filename

str = '%20s :' %(data[1])

for price in data[2]:

data = price[0].rjust(10) + ':' + price[1].ljust(10)

str = str + data

str = str + '\n'

logger.info(str)

with open(filename, 'a') as f:

f.write(str)

若需要获取完整的代码，请点击阅读全文。