网络爬虫存储数据的三种常见方式及其python实现

最新推荐文章于 2024-05-11 11:28:36 发布
最新推荐文章于 2024-05-11 11:28:36 发布
阅读量1.6w 收藏 87
点赞数 21
分类专栏： 网络爬虫 python 文章标签： 数据存储 TXT文件 Excel文件 MySQL数据库 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tszupup/article/details/81115167
版权

        在使用工具解析到网页上的数据后，要想办法把数据存储起来，这也是网络爬虫的最后一步。在最近一段时间学习网络爬虫的过程中，一直想写点东西介绍一下网络爬虫数据存储方面的内容，今天以博客的形式对这方面的内容进行总结，介绍网络爬虫中数据存储的三种常用方式及其python实现，三种常见方式分别是：txt文件、MySQL数据库、excel文件，实现中使用的数据是前几篇博客中提到的中彩网福彩3D的开奖数据。

1 将数据存储到txt文件

        将数据写入到txt文件或csv文件中的方法有很多，这里介绍两种比较常用的方法：

1.1 以数组的方式将数据存储到txt文件

        以数组的方式将爬取到的数据写入到txt文件，是将数据存放在一维或二维数组中，然后使用numpy.savetxt()方法将数据写入到txt文件，np.savetxt()方法【点击打开网页】的介绍如下图：


这里写图片描述

        将数据以数组的形式存储到txt文件中的具体代码如下： 

#-*-coding:utf-8-*-
"""
@author:taoshouzheng
@time:2018/7/17 9:07
@email:tsz1216@sina.com
"""
from bs4 import BeautifulSoup
from urllib import request
import numpy as np

"""
使用BeautifulSoup模块和CSS选择器获取中彩网福彩3D的开奖数据
"""


# 定义获取所有页面对应的url的函数
def get_all_urls():
    """
    :return: url列表
    """
    # 创建url列表
    url_list = []
    # 第一页的真实请求地址
    ori_url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list.html'
    # 加入列表
    url_list.append(ori_url)
    # 生成并遍历列表
    for i in list(range(2, 247)):
        url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_' + str(i) + '.html'
        # 加入列表
        url_list.append(url)
    # 打印消息
    print('成功获取url！')
    # 返回列表
    return url_list


# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回一维列表
    return per_page_data


# 主模块
if __name__ == "__main__":
    # 创建用于存放所有数据的列表
    all_data = []
    # 调用函数获取所有的url
    url_list = get_all_urls()
    # 遍历列表中的每一个url
    for url in url_list:
        # 调用函数解析每一个网页
        page_data = parse_per_page(url=url)
        # 将每页的数据加入总的二维列表中
        all_data.extend(page_data)
    # 将存放所有数据的二维列表转化为数组
    all_data_array = np.array(all_data)
    # 表头信息
    header = '开奖日期' + '\t' + '期号' + '\t' + '中奖号码' + '\t' + '单选' + '\t' + '组选3' + '\t' + '组选6' + '\t' + '销售额（元）' + '\t' + '返奖比例'
    # 将数组中元素写入txt文件中
    np.savetxt('结果1.txt', all_data_array, fmt='%s', delimiter='\t', header=header, comments='', encoding='utf-8')
    # 打印消息
    print('数据写入到结果1.txt成功！')

        效果截图如下：


这里写图片描述
这里写图片描述
这里写图片描述

1.2 以列表的形式将数据存储到txt文件

        以列表的方式将爬取到的数据存储到.txt文件中，在本例中，是通过两层for循环遍历列表元素实现的。将数据以列表的形式存储到txt文件中的具体代码如下：

#-*-coding:utf-8-*-
"""
@author:taoshouzheng
@time:2018/7/17 9:07
@email:tsz1216@sina.com
"""
from bs4 import BeautifulSoup
from urllib import request

"""
使用BeautifulSoup模块和CSS选择器获取中彩网福彩3D的开奖数据
"""


# 定义获取所有页面对应的url的函数
def get_all_urls():
    """
    :return: url列表
    """
    # 创建url列表
    url_list = []
    # 第一页的真实请求地址
    ori_url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list.html'
    # 加入列表
    url_list.append(ori_url)
    # 生成并遍历列表
    for i in list(range(2, 247)):
        url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_' + str(i) + '.html'
        # 加入列表
        url_list.append(url)
    # 打印消息
    print('成功获取url！')
    # 返回列表
    return url_list


# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回二维列表
    return per_page_data


# 主模块
if __name__ == "__main__":
    # 以遍历二维列表元素的形式将数据写入到txt文件中
    with open('结果1_1.txt', 'a', encoding='utf-8') as f_obj:
        # 写入表头
        f_obj.write('开奖日期' + '\t' + '期号' + '\t' + '中奖号码' + '\t' + '单选' + '\t' + '组选3' + '\t'
                    + '组选6' + '\t' + '销售额（元）' + '\t' + '返奖比例' + '\n')
        # 调用函数获取所有的url
        url_list = get_all_urls()
        # 遍历列表中的每一个url
        for url in url_list:
            # 调用函数解析每一个网页，返回二维列表
            page_data = parse_per_page(url=url)
            # 遍历二维列表中的一维列表元素
            for day_data in page_data:
                # 写入数据到txt文件
                f_obj.write(str(day_data[0]) + '\t' + str(day_data[1]) + '\t' + str(day_data[2]) + '\t' + str(day_data[3])
                        + '\t' + str(day_data[4]) + '\t' + str(day_data[5]) + '\t' + str(day_data[6])
                        + '\t' + str(day_data[7]) + '\n')
    # 打印消息
    print('数据写入到结果1_1.txt成功！')

        效果截图如下：


这里写图片描述
这里写图片描述
这里写图片描述

2 将数据存储到MySQL数据库中

        关于如何使用python操作MySQL数据库，这篇博客给出了详细介绍：点击打开网页
        将爬取到的数据存储到数据库中，关键在于数据库中数据表的正确创建以及python程序中SQL语句的正确书写。在数据库中创建数据表，可以使用以下两种方式：设计表、新建查询，效果截图如下：


通过设计表的方式创建数据表
通过新建查询的方式创建数据表

        具体代码如下： 

#-*-coding:utf-8-*-
"""
@author:taoshouzheng
@time:2018/7/17 9:07
@email:tsz1216@sina.com
"""
from bs4 import BeautifulSoup
from urllib import request
import pymysql

"""
使用BeautifulSoup模块和CSS选择器获取中彩网福彩3D的开奖数据
"""


# 定义获取所有页面对应的url的函数
def get_all_urls():
    """
    :return: url列表
    """
    # 创建url列表
    url_list = []
    # 第一页的真实请求地址
    ori_url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list.html'
    # 加入列表
    url_list.append(ori_url)
    # 生成并遍历列表
    for i in list(range(2, 247)):
        url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_' + str(i) + '.html'
        # 加入列表
        url_list.append(url)
    # 打印消息
    print('成功获取url！')
    # 返回列表
    return url_list


# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回二维列表
    return per_page_data


# 主模块
if __name__ == "__main__":
    # 打开数据库连接
    conn = pymysql.connect('localhost', 'root', 'root', '网络爬虫')
    # 使用cursor()方法获取操作游标
    cursor = conn.cursor()
    # 以遍历二维列表元素的形式将数据写入到数据库表中
    with open('结果1_1.txt', 'a', encoding='utf-8') as f_obj:
        # 调用函数获取所有的url
        url_list = get_all_urls()
        # 遍历列表中的每一个url
        for url in url_list:
            # 调用函数解析每一个网页，返回二维列表
            page_data = parse_per_page(url=url)
            # 遍历二维列表中的一维列表元素
            for day_data in page_data:
                # SQL语句
                sql = "INSERT INTO 结果2(开奖日期, 期号, 中奖号码, 单选, 组选3, 组选6, 销售额（元）, 返奖比例) \
                        VALUES('%s', '%s', '%s', '%s', '%s', '%s', '%s', '%s')" \
                      % (str(day_data[0]), str(day_data[1]), str(day_data[2]), str(day_data[3]), str(day_data[4]), \
                         str(day_data[5]), str(day_data[6]), str(day_data[7]))
                # 执行SQL语句
                cursor.execute(sql)
        # 异常处理
        try:
            # 批量提交事务到数据库执行
            conn.commit()
        except:
            # 打印消息
            print('发生异常！')
            # 如果发生错误则执行回滚操作
            conn.rollback()
    # 关闭数据库连接
    conn.close()
    # 打印消息
    print('数据写入到数据库中的结果2表成功！')

        效果截图如下：


这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

3 将数据存储到excel文件中

        将爬取到的数据存储到excel文件中的做法和将数据存储到txt文件中类似，也是通过两层for循环实现，具体代码如下：

#-*-coding:utf-8-*-
"""
@author:taoshouzheng
@time:2018/7/17 9:07
@email:tsz1216@sina.com
"""
from bs4 import BeautifulSoup
from urllib import request
import xlwt

"""
使用BeautifulSoup模块和CSS选择器获取中彩网福彩3D的开奖数据
"""


# 定义获取所有页面对应的url的函数
def get_all_urls():
    """
    :return: url列表
    """
    # 创建url列表
    url_list = []
    # 第一页的真实请求地址
    ori_url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list.html'
    # 加入列表
    url_list.append(ori_url)
    # 生成并遍历列表
    for i in list(range(2, 247)):
        url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_' + str(i) + '.html'
        # 加入列表
        url_list.append(url)
    # 打印消息
    print('成功获取url！')
    # 返回列表
    return url_list


# 定义使用BeautifulSoup和CSS选择器解析页面的函数
def parse_per_page(url):
    """
    :param url:页面对应的url
    :return: 页面中包含的数据列表
    """
    # 创建Request对象
    req = request.Request(url=url)
    # 传入用户代理
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19')
    # 发送请求，读取打开网页
    response = request.urlopen(req)
    # 读取网页内容，重新编码
    html = response.read().decode('utf-8')
    # 创建BeautifulSoup对象用于解析网页内容
    html_soup = BeautifulSoup(html, 'lxml')
    # 创建存放每个页面数据的列表
    per_page_data = []
    # 遍历tr标签列表
    for item in html_soup.select('tr')[2:-1]:
        # 创建存放每天数据的列表
        per_day_data = []
        # 开奖时间
        time = item.select('td')[0].text
        per_day_data.append(time)
        # 期号
        issue = item.select('td')[1].text
        per_day_data.append(issue)
        # 中奖号码
        digits = int(str(item.select('td > em')[0].text) + str(item.select('td > em')[1].text) + str(item.select('td > em')[2].text))
        per_day_data.append(digits)
        # 单选
        single_selection = item.select('td')[3].text
        per_day_data.append(single_selection)
        # 组选3
        group_selection_3 = item.select('td')[4].text
        per_day_data.append(group_selection_3)
        # 组选6
        group_selection_6 = item.select('td')[5].text
        per_day_data.append(group_selection_6)
        # 销售额
        sales = item.select('td > strong')[0].text
        per_day_data.append(sales)
        # 返奖比例
        return_rates = item.select('td')[7].text
        per_day_data.append(return_rates)
        # 将每天的数据加入每页的数据中
        per_page_data.append(per_day_data)
    # 打印消息
    print('解析页面成功！')
    # 返回二维列表
    return per_page_data


# 主模块
if __name__ == "__main__":
    # 创建workbook
    workbook = xlwt.Workbook(encoding='utf-8')
    # 创建工作表
    mysheet = workbook.add_sheet('中彩网福彩3D开奖数据', cell_overwrite_ok=True)
    # 表头
    header = ['开奖日期', '期号', '中奖号码', '单选', '组选3', '组选6', '销售额（元）', '返奖比例']
    # 写入表头
    for i in range(0, 8):
        mysheet.write(0, i, header[i])
    # 调用函数获取所有的url
    url_list = get_all_urls()
    # 设置数据初始写入行的行序
    j = 1
    # 遍历列表中的每一个url
    for url in url_list:
        # 调用函数解析每一个网页，返回二维列表
        page_data = parse_per_page(url=url)
        # 遍历二维列表中的一维列表元素，写入数据到excel文件
        for day_data in page_data:
            # 写入开奖日期
            mysheet.write(j, 0, day_data[0])
            # 写入期号
            mysheet.write(j, 1, day_data[1])
            # 写入中奖号码
            mysheet.write(j, 2, day_data[2])
            # 写入单选
            mysheet.write(j, 3, day_data[3])
            # 写入组选3
            mysheet.write(j, 4, day_data[4])
            # 写入组选6
            mysheet.write(j, 5, day_data[5])
            # 写入销售额（元）
            mysheet.write(j, 6, day_data[6])
            # 写入返奖比例
            mysheet.write(j, 7, day_data[7])
            # 行序递增
            j += 1
    # 保存工作表
    workbook.save('结果3.xls')
    # 打印消息
    print('数据写入到excel表结果3中成功！')

        效果截图如下：


这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

        欢迎交流！ QQ：3408649893

烟雨风渡
关注
  • 21
    点赞
  • 踩
  • 87
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
通过网络爬虫采集大数据
程序员生活网
06-13 3万+
网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。 在互联网时代，网络爬虫主要是为搜索引擎提供最全面和最新的数据。 在大数据时代，网络爬虫更是从互联网上采集数据的有利工具。目前已经知道的各种网络爬虫工具已经有上...
Python爬虫数据存哪里|数据存储到文件的几种方式
weixin_62853513的博客
09-07 2151
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：文件：txt、csv、excel、json等，保存数据量小。关系型数据库：mysql、oracle等，保存数据量大。非关系型数据库：Mongodb、Redis等键值对形式存储数据，保存数据量大。二进制文件：保存爬取的图片、视频、音频等格式数据。
python爬取数据转化为二维列表存入csv文件
qq_54559796的博客
09-12 1501
一维列表转化为二维列表，并将其写入csv文件
2024年6个最佳 Python 网页爬虫库（非常详细）零基础入门到精通，收藏这一篇就够了
最新发布
leah126的博客
05-11 1746
Selenium.5. Scrapy.6. urllibSeleniumSelenium 是一个广泛使用的 Python 抓取库，用于抓取动态 Web 内容。它通过单击按钮、填写表格等来模仿人类交互。Selenium 与许多浏览器兼容，例如 Chrome 和 Firefox，允许您选择最适合您的网络抓取项目的浏览器。这种灵活性有助于确保在不同的浏览器环境中获得一致的结果。👍 优点： 它可以抓取动态网页。多浏览器支持。👎 缺点：Selenium可能很慢。它无法获取状态代码。这既费时又费力。
python爬虫存储数据4种方式
m0_50488257的博客
07-10 5683
##注意：爬取的数据以字典的形式放入了self.data属性中[{},{},{}]如需直接使用需要把数据类型转换为列表，把self.data换成自己的数据存储变量名。mongodb数据库没有表的概念，数据的写入相对较为简单一点。爬取的数据以字典的形式放入了self.data属性中。爬取的数据以字典的形式放入了self.data属性中。爬取的数据还是存放在类的self.data属性中。爬取的数据还是存放在类的self.data属性中。2.数据写入excell文件。2.数据写入excell文件。
Python爬虫理论 | (4) 数据存储
sdu_hao的博客
07-03 1729
关于爬虫数据存储问题，通常可以有三种选择： 1.文本文件（txt,json）或excel文件（csv,xlsx） 优势：使用方便，不需要第三方支持 劣势：健壮性差，扩展性差 2.数据库（mysql,mongoDB,redis,oracle…） 优势：良好的扩展性，使用广泛 ...
爬虫基础-数据存储
dayexiaofan的博客
10-26 2526
python存储类型的基础学习，为爬取的数据提供了存储渠道
总结Python爬虫面试题.pdf
09-13
Python爬虫面试题总结 在Python爬虫领域，面试官通常会关注候选人的项目经验、技术选型、问题解决能力以及基础知识。以下是一些常见的面试问题及其详细解答： 一、项目问题 1. 反爬策略及解决方案：面试时可能会被...
人工智能基础与应用第三章-人工智能与Python.pptx
11-18
网络爬虫与数据分析是Python在人工智能领域的重要应用。Python的BeautifulSoup库常用于网页内容的抓取和解析，通过HTTP请求获取网页内容，然后利用解析工具提取所需信息。数据分析方面，Python提供了pandas、numpy等...
Python技术常用第三方库功能详解.docx
07-30
以下是几个常见的Python第三方库及其详细功能： 1. **NumPy**：作为Python中的数值计算库，NumPy的核心是`ndarray`对象，它支持高效的多维数组操作。NumPy提供了丰富的数学运算功能，包括矩阵计算、线性代数、傅立...
Python使用正则表达式去除(过滤)HTML标签提取文字功能
10-16
在`replaceCharEntity`函数中，我们创建了一个字典`CHAR_ENTITIES`，存储了常见的HTML字符实体及其对应的值。然后，我们使用正则表达式`r'?(?P<name>w+);'`来查找字符实体，并通过字典查找替换值。如果遇到未定义的...
爬虫学习——获得数据后的数据存储（csv & Excel 的写入与读取）
weixin_53919192的博客
04-21 5794
本文介绍了网页爬虫获取数据后数据存储两种方法，希望对你有帮助，加油，希望你我一同走进爬虫的世界~~
python爬虫系列: 数据存储(一)
TOPEE362的博客
08-11 591
数据与存储
Python爬虫(四) —— 将爬取到的数据进行存储
hellocoding的博客
12-24 8869
文章目录文本存储文件打开模式以TXT文本形式存储以JSON数据形式存储读取json数据输出json数据以CSV文本格式存储写入CSV数据读取CSV数据   用解析器解析出数据之后，接下来就是存储数据了。保存的形式有很多，最简单的形式是直接保存为文本文件，如TXT、JSON、csv等。另外，还可以将这些数据保存到数据库中。 文本存储 文件打开模式 python中所有open()打开一个文件，文件的打...
Scrapy框架系列--数据不保存，就是耍流氓（3）
lsxxx2011的专栏
12-15 349
目录前言ItemsPipelines瞎比比前言OK，通过签名两篇文章《爬虫利器初体验（1）》《听说你的爬虫又被封了？（2）》，我们初体验也过了，爬虫代码健壮性也升级为 P...
数据保存！！！Python 爬取网页数据后，三种保存格式---保存为txt文件、CSV文件和mysql数据库
热门推荐
iseeyounow2017的博客
09-07 2万+
    Python爬取网站数据后，数据的保存方式是大家比较关心的意一件事情，也是为接下来是否能够更简便的处理数据的关键步骤。下面，就Python爬取网页数据后的保存格式进行简单介绍。三种保存格式为txt格式、CSV格式和数据库格式。     首先，保存为txt格式。话不多说，直接上代码！     # -*- coding: utf-8 -*- import requests import ...
Python爬虫存储数据
weixin_62801699的博客
03-23 2845
存储数据的几种方式: 1.JSON文件的存储:是一种轻量级的数据交换格式,它是基于ECMAScript的一个子集,在python中分别以list和dict组成 <<<<<<<<返回的是一个字典常用于数据解析>>>>>>>>> json模块提供的四个功能: s = "{'name':'张三'}" --->>>json数据 1.json...
Python爬虫自动化从入门到精通第9天(爬虫数据的存储)
研究方向：机器学习、深度学习、AIOT
04-11 886
通常，从网页爬取到的数据需要进行分析、处理或格式化，然后进行持久化存储，以备后续使用。数据存储主要有以下两种方式：1）文件存储文件存储时将爬虫数据以文件的形式存储到本地，对于这种中小规模的爬虫而言，可以将爬虫结果汇合到一个文件进行持久化存储。Python中的文件操作相当方便，既能将爬虫数据以二进制形式保存，又能处理成字符串后以文件形式保存，只需要改动打开文件的模式，就能以不同的形式保存数据。2）数据库存储对于爬取的数据种类丰富、数量庞大的大规模爬虫来说，把数据存储成一堆零散的文件就不太合适了。
Python网络爬虫并实现数据可视化
06-07
Python是非常流行的网络爬虫语言之一，使用Python可以轻松地实现网络爬虫，并将爬取到的数据进行可视...总之，Python网络爬虫并实现数据可视化需要掌握Python编程基础、网络爬虫的原理和技术、数据存储和可视化等知识。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值