【PostgreSQL数据分析实战：从数据清洗到可视化全流程】7.2 PostgreSQL与Python数据交互（psycopg2库使用）

最新推荐文章于 2025-05-09 21:50:44 发布
最新推荐文章于 2025-05-09 21:50:44 发布
阅读量994 收藏 27
点赞数 25
分类专栏： PostgreSQL 文章标签： postgresql 数据分析 python psycopg2 execute_values 批量插入工具 连接池优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24452475/article/details/147771938
版权
#王者杯·14天创作挑战营·第1期#

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

文章大纲

PostgreSQL与Python数据交互：psycopg2库实战指南

在这里插入图片描述

一、引言：数据交互的桥梁

在数据驱动的时代，PostgreSQL以其强大的关系型数据管理能力和开放性，成为企业级数据分析的核心数据库。

  • Python作为数据分析领域的首选语言，两者的高效交互是实现数据清洗、分析到可视化全流程的关键环节。
  • psycopg2作为Python生态中最成熟的PostgreSQL适配器，提供了稳定、高效的数据交互解决方案。
  • 本文将从基础连接到高级特性，结合具体数据案例，全面解析psycopg2的实战应用。

1.1 psycopg2核心优势

特性优势说明
原生支持直接调用PostgreSQL C API，确保最佳性能和功能完整性
参数化查询内置SQL注入防护机制，提升数据操作安全性
事务管理支持完整ACID事务控制，确保数据一致性
类型适配自动映射PostgreSQL数据类型与Python类型，减少类型转换成本
批量操作支持批量数据插入/更新，显著提升大数据量处理效率

二、环境准备与基础连接

2.1 安装配置

2.1.1 安装psycopg2
# 常规安装（适用于已安装PostgreSQL开发包的环境）
pip install psycopg2-binary

# 源码安装（适用于需要自定义配置的场景）
pip install psycopg2 -i https://pypi.tuna.tsinghua.edu.cn/simple
2.1.2 连接参数说明

建立数据库连接前，需准备以下核心参数：

参数名类型说明示例值
dbnamestr数据库名称“postgres”
userstr数据库用户名“postgres”
passwordstr数据库密码“postgres”
hoststr数据库主机地址（本地为"localhost"）“192.168.1.100”
portint数据库端口（默认5432）5432

2.2 建立连接实例

import psycopg2
from psycopg2 import OperationalError

def list_all_databases(config):
    """查询PostgreSQL所有数据库清单（过滤系统模板库）"""
    try:
        # 建立数据库连接（使用上下文管理器自动关闭连接）
        with psycopg2.connect(**config) as conn:
            # 使用游标执行查询（with语句自动关闭游标）
            with conn.cursor() as cur:
                # 查询所有非模板数据库（排除template0/template1）
                # pg_database是PostgreSQL系统表，存储数据库元数据
                # datistemplate为false表示非模板库（用户创建的库）
                query_sql = """
                    SELECT datname 
                    FROM pg_database 
                    WHERE datistemplate = false 
                    ORDER BY datname;
                """
                cur.execute(query_sql)
                
                # 获取所有查询结果（返回格式：[(dbname1,), (dbname2,), ...]）
                db_list = cur.fetchall()
                
                # 转换为纯数据库名列表（去除元组结构）
                return [db[0] for db in db_list]
                
    except OperationalError as e:
        print(f"连接或查询失败: {str(e)}")
        return None

if __name__ == "__main__":
    # 数据库连接配置（根据实际环境修改）
    db_config = {
        "dbname": "postgres",  # 连接默认数据库以执行系统表查询
        "user": "postgres",
        "password": "postgres",
        "host": "localhost",
        "port": 5432
    }
    
    # 执行查询并打印结果
    databases = list_all_databases(db_config)
    if databases:
        print("PostgreSQL数据库清单（非模板库）:")
        for idx, db in enumerate(databases, 1):
            print(f"{idx}. {db}")
    else:
        print("未获取到数据库列表")

    # 注意：with语句已自动关闭连接，无需手动调用conn.close()

在这里插入图片描述

三、数据交互核心操作

3.1 创建示例表

我们以员工信息表employees为例，演示完整的数据操作流程：

import psycopg2
from psycopg2 import OperationalError, ProgrammingError

db_config = {
    "dbname": "postgres",
    "user": "postgres",
    "password": "postgres",
    "host": "192.168.232.128",
    "port": 5432
}

try:
    conn = psycopg2.connect(**db_config)
    conn.autocommit = True  # 关闭自动事务（建表是DDL，自动提交）

    # ======================================
    # 步骤1：执行建表语句（确保表结构正确）
    # ======================================
    create_table_sql = """
    CREATE TABLE IF NOT EXISTS employees (
        emp_id SERIAL PRIMARY KEY,
        name VARCHAR(50) NOT NULL,
        age INTEGER,
        department VARCHAR(30),
        salary NUMERIC(10,2),
        hire_date DATE
    );
    """
    with conn.cursor() as cur:
        cur.execute(create_table_sql)
    print("表创建/验证成功！")

    # ======================================
    # 步骤2：执行数据插入（确保表结构正确后再执行）
    # ======================================
    insert_data_sql = """
    INSERT INTO employees (name, age, department, salary, hire_date)
    SELECT 
        name,
        age,
        department,
        CASE 
            WHEN department = '技术部' THEN round( (10000 + random() * 15000)::numeric, 2 )
            ELSE round( (6000 + random() * 12000)::numeric, 2 )
        END AS salary,
        '2020-01-01'::date + (random() * (CURRENT_DATE - '2020-01-01'::date))::int AS hire_date
    FROM (
        SELECT
            '员工_' || generate_series AS name,
            floor(random() * 43) + 18 AS age,
            CASE floor(random() * 5)
                WHEN 0 THEN '技术部'
                WHEN 1 THEN '市场部'
                WHEN 2 THEN '财务部'
                WHEN 3 THEN '人力资源部'
                WHEN 4 THEN '运营部'
            END AS department
        FROM generate_series(1, 100)
    ) AS subquery;
    """
    with conn.cursor() as cur:
        cur.execute(insert_data_sql)
    print("数据插入成功！")

except (OperationalError, ProgrammingError) as e:
    print(f"执行错误: {str(e)}")
finally:
    if conn:
        conn.close()
        print("数据库连接已关闭")

在这里插入图片描述

3.2 插入数据

3.2.1 单条插入
insert_single_sql = """
INSERT INTO employees (name, age, department, salary, hire_date)
VALUES (%s, %s, %s, %s, %s);
"""

data = ("张三", 30, "技术部", 15000.00, "2023-01-15")

with conn.cursor() as cur:
    cur.execute(insert_single_sql, data)
conn.commit()

在这里插入图片描述

3.2.2 批量插入（性能提升50%+）
insert_batch_sql = """
INSERT INTO employees (name, age, department, salary, hire_date)
VALUES %s;
"""

batch_data = [
    ("李四", 28, "市场部", 12000.50, "2023-03-20"),
    ("王五", 35, "研发部", 20000.00, "2022-05-10"),
    ("赵六", 25, "财务部", 8000.75, "2023-08-01")
]

# 导入psycopg2的sql模块（用于安全构建SQL语句，本示例未直接使用）
from psycopg2 import sql
# 从psycopg2扩展模块导入execute_values函数（关键批量插入工具）
from psycopg2.extras import execute_values

# 使用上下文管理器创建游标（自动关闭游标，避免资源泄露）
with conn.cursor() as cur:
    # 执行批量插入（核心操作）
    execute_values(
        cur,                  # 数据库游标（用于执行SQL）
        insert_batch_sql,     # 插入的SQL模板（需包含%s占位符，如"INSERT INTO table VALUES %s"）
        batch_data,           # 待插入的数据列表（格式：[(val1, val2), (val3, val4), ...]）
        template=None,        # 数据行的模板（默认None，自动生成%s占位符；可自定义如"(%s::int, %s::date)"）
        page_size=100         # 分页大小（每次发送到数据库的行数，默认100；大数据量时可调整优化）
    )
    # 注意：execute_values不会自动提交事务，需手动提交
    
# 提交事务（将内存中的修改持久化到数据库）
conn.commit()

3.3 查询数据

3.3.1 基础查询
query_sql = """
	SELECT emp_id, name, salary 
	FROM employees 
	WHERE department = %s 
	ORDER BY salary DESC;
"""

department = "技术部"

with conn.cursor() as cur:
    cur.execute(query_sql, (department,))
    results = cur.fetchall()

# 打印查询结果
print("查询结果（技术部员工）：")
for row in results:
    print(f"员工ID: {row[0]}, 姓名: {row[1]}, 薪资: {row[2]}")

在这里插入图片描述

3.3.2 结果处理方式对比
方法说明内存占用适用场景
fetchone()获取下一行记录最小逐条处理大量数据
fetchmany(size)获取指定数量的记录（默认size=100）中等分页处理
fetchall()获取所有记录最大小数据集一次性处理

3.4 更新数据

update_sql = """
	UPDATE employees 
	SET salary = salary * 1.1 
	WHERE department = %s AND age > %s;
"""

params = ("研发部", 30)

with conn.cursor() as cur:
    cur.execute(update_sql, params)
    print(f"更新行数：{cur.rowcount}")  # 获取受影响的行数
conn.commit()

在这里插入图片描述

3.5 删除数据

delete_sql = """
	DELETE FROM employees 
	WHERE hire_date < %s;
"""

six_months_ago = "2023-01-01"

with conn.cursor() as cur:
    cur.execute(delete_sql, (six_months_ago,))
    print(f"删除行数：{cur.rowcount}")
conn.commit()

在这里插入图片描述

四、事务管理与异常处理

4.1 事务控制原理

PostgreSQL通过事务保证数据操作的原子性，psycopg2的事务管理遵循以下流程：

    1. 自动提交模式：默认关闭（conn.autocommit = False）
    1. 手动提交：通过conn.commit()确认变更
    1. 回滚机制：通过conn.rollback()撤销未提交变更

4.2 安全操作模板

try:
    with conn.cursor() as cur:
        cur.execute("危险操作SQL", params)
    conn.commit()
except psycopg2.Error as e:
    conn.rollback()
    print(f"操作失败：{str(e)}")
    raise  # 可选：向上抛出异常
finally:
    if conn:
        conn.close()

4.3 常见异常类型

异常类说明处理建议
OperationalError连接失败、SQL语法错误等检查连接参数和SQL语句
IntegrityError唯一约束冲突、外键约束失败等验证数据完整性
DataError数据类型不匹配、值超出范围等检查数据格式和范围
ProgrammingError参数数量不匹配、未定义的表/列等检查SQL语句结构

五、高级特性与最佳实践

5.1 参数化查询（防止SQL注入）

  • 错误示例（直接拼接SQL）：
# 危险！存在SQL注入风险
user_input = "'; DROP TABLE employees; --"

cur.execute(f"SELECT * FROM employees WHERE name = '{user_input}'")
  • 安全实践（使用%s占位符）：
cur.execute("SELECT * FROM employees WHERE name = %s", (user_input,))

5.2 处理复杂数据类型

5.2.1 日期时间类型
from datetime import date

hire_date = date(2023, 10, 1)
cur.execute("INSERT INTO employees (hire_date) VALUES (%s)", (hire_date,))
5.2.2 JSON类型（PostgreSQL 9.4+支持）
import json

metadata = {"title": "高级工程师", "level": "资深"}
cur.execute("INSERT INTO employees (metadata) VALUES (%s)", (json.dumps(metadata),))

5.3 连接池优化（高并发场景）

from psycopg2.pool import SimpleConnectionPool

# ======================================
# 1. 配置连接池（最小2连接，最大10连接）
# ======================================
pool = SimpleConnectionPool(
    minconn=2,            # 连接池最小保持的空闲连接数
    maxconn=10,           # 连接池最大允许的连接数
    dbname="postgres",     # 数据库名称
    user="postgres",       # 数据库用户
    password="postgres",   # 数据库密码
    host="192.168.232.128",# 数据库主机地址
    port=5432             # 数据库端口（默认5432，可省略）
)

# ======================================
# 2. 从连接池获取连接并执行查询
# ======================================
try:
    # 获取一个数据库连接（如果池中有空闲连接则直接获取，否则新建直到maxconn）
    conn = pool.getconn()
    
    # 使用上下文管理器创建游标（自动关闭游标）
    with conn.cursor() as cur:
        # 执行SQL查询（统计employees表的记录数）
        cur.execute("SELECT COUNT(*) FROM employees")
        
        # 获取查询结果（COUNT(*)返回一行一列，使用fetchone()）
        # fetchone()返回元组，例如：(100,)，[0]获取第一个元素
        count_result = cur.fetchone()[0]
        
        # 打印结果
        print(f"employees表记录数：{count_result}")

finally:
    # 关键：无论是否出错，都要将连接归还给连接池（而非关闭！）
    if conn:
        pool.putconn(conn)
        print("连接已归还至连接池")

# ======================================
# 3. 关闭连接池（程序结束时执行，释放所有资源）
# ======================================
pool.closeall()
print("连接池已关闭")

在这里插入图片描述

5.4 性能优化策略

    1. 批量操作：使用execute_values替代循环单条插入，性能提升约300%
    1. 游标优化：对大数据集使用named cursor（cur = conn.cursor(name="large_cursor")）
    1. 连接复用：使用连接池减少连接创建开销
    1. 预处理语句：通过PREPARE和EXECUTE减少SQL解析时间

六、实战案例：销售数据交互

假设我们有一张销售记录表sales_records，包含以下字段：

字段名类型说明
sale_idBIGINT销售记录ID（主键）
product_nameVARCHAR(50)产品名称
sale_dateDATE销售日期
amountNUMERIC(10,2)销售金额
regionVARCHAR(20)销售区域

6.1 数据清洗：过滤无效数据

  • raw_sales 建表语句，并构建测试数据
-- 创建原始销售数据表（含可能不规范的数据，用于清洗）
CREATE TABLE IF NOT EXISTS raw_sales (
    id SERIAL PRIMARY KEY,               -- 自增主键（唯一标识每条记录）
    product_name VARCHAR(100) NOT NULL,  -- 产品名称（如"手机","笔记本电脑"等）
    sale_date DATE NOT NULL,             -- 销售日期（格式：YYYY-MM-DD）
    amount NUMERIC(10,2),                -- 销售金额（可能为正/负，模拟退货或错误数据）
    region VARCHAR(20)                   -- 销售区域（可能包含无效值，如"西北","国外"）
);

-- 向raw_sales表插入100条测试数据（包含有效和无效数据，用于验证清洗逻辑）
INSERT INTO raw_sales (product_name, sale_date, amount, region)
SELECT
    -- 产品名称：从预设列表中随机选择（模拟真实产品）
    CASE floor(random() * 5)  -- 0-4对应5种产品
        WHEN 0 THEN '智能手机'
        WHEN 1 THEN '笔记本电脑'
        WHEN 2 THEN '平板电脑'
        WHEN 3 THEN '智能手表'
        WHEN 4 THEN '无线耳机'
    END AS product_name,
    
    -- 销售日期：过去1年内的随机日期（2024-05-01至2025-05-01）
    '2024-05-01'::date + floor(random() * 365)::int AS sale_date,
    
    -- 关键修正：将随机金额转换为numeric类型后再round（保留2位小数）
    CASE WHEN random() > 0.5 
        THEN round( (100 + random() * 4900)::numeric, 2 )  -- 正数：100-5000元（保留2位小数）
        ELSE round( (-100 - random() * 4900)::numeric, 2 )  -- 负数：-5000至-100元（保留2位小数）
    END AS amount,
    
    -- 销售区域：30%概率为有效区域（华北/华东/华南），70%为无效区域（模拟需要清洗的场景）
    CASE floor(random() * 10)  -- 0-9共10种可能
        WHEN 0 THEN '华北'
        WHEN 1 THEN '华东'
        WHEN 2 THEN '华南'
        ELSE '无效区域'  -- 包括"西北","西南","国外"等（简化为统一描述）
    END AS region
FROM generate_series(1, 100);  -- 生成1-100的序号（控制数据量）
  • cleaned_sales 建表语句
-- 创建清洗后销售数据表（若不存在）
CREATE TABLE IF NOT EXISTS cleaned_sales (
    product_name VARCHAR(100) NOT NULL,  -- 产品名称（与raw_sales的product_name类型一致，假设长度100）
    sale_date DATE NOT NULL,             -- 销售日期（与raw_sales的sale_date类型一致，日期类型）
    amount NUMERIC(10,2) NOT NULL,       -- 销售金额（与raw_sales的amount类型一致，保留2位小数）
    region VARCHAR(20) NOT NULL          -- 销售区域（与raw_sales的region类型一致，假设常用区域名长度20）
);

clean_sql = """
INSERT INTO cleaned_sales (product_name, sale_date, amount, region)
SELECT product_name, sale_date, amount, region
FROM raw_sales
WHERE amount > 0 AND region IN ('华北', '华东', '华南');
"""

with conn.cursor() as cur:
    cur.execute(clean_sql)
conn.commit()

6.2 数据分析：区域销售汇总

analysis_sql = """
SELECT region, SUM(amount) AS total_sales, COUNT(*) AS order_count
FROM cleaned_sales
WHERE sale_date BETWEEN %s AND %s
GROUP BY region
ORDER BY total_sales DESC;
"""

start_date = "2024-01-01"
end_date = "2025-12-31"

with conn.cursor() as cur:
    cur.execute(analysis_sql, (start_date, end_date))
    results = cur.fetchall()

# 转换为DataFrame进行可视化
import pandas as pd
df = pd.DataFrame(results, columns=["区域", "总销售额", "订单量"])

df

在这里插入图片描述

七、总结与最佳实践

7.1 核心价值总结

    1. 无缝集成：实现PostgreSQL与Python的高效数据流转
    1. 安全可靠：通过参数化查询和事务管理保障数据安全
    1. 性能卓越：支持批量操作和连接池技术应对大数据量场景
    1. 生态兼容：无缝对接Pandas、Matplotlib等数据分析库

7.2 最佳实践清单

    1. 始终使用参数化查询：避免SQL注入风险
    1. 合理管理连接：使用with语句自动释放资源，高并发场景用连接池
    1. 明确事务边界：复杂操作使用显式事务控制
    1. 处理类型转换：对JSON、日期等复杂类型使用官方推荐转换方法
    1. 监控与日志：记录关键操作的错误信息和执行时间

这篇文章全面介绍了psycopg2库在PostgreSQL与Python数据交互中的应用。

  • 你可以说说对内容的看法，比如是否需要增加更多案例或调整讲解深度，以便我进一步优化。
  • 通过掌握psycopg2的核心功能和最佳实践，数据分析师和开发人员能够高效构建从PostgreSQL到Python的数据管道，为后续的数据可视化和深度分析奠定坚实基础。
  • 无论是小规模的数据探索，还是千万级数据的批量处理，psycopg2都能提供稳定可靠的解决方案，成为PostgreSQL数据交互的首选工具。
如何使用PostgreSQL数据库进行数据挖掘与预测分析
2502_91592937的博客
04-30 748
随着数据量的爆炸式增长，数据挖掘与预测分析在各个领域变得至关重要。PostgreSQL作为一种强大的开源关系型数据库管理系统，具备丰富的功能和扩展性，为数据挖掘与预测分析提供了良好的基础。本文的目的是引导读者了解如何使用PostgreSQL进行数据挖掘与预测分析，涵盖了从基本概念到实际应用的各个方面。范围包括核心算法原理、数学模型、项目实战、实际应用场景等，旨在让读者能够独立完成基于PostgreSQL的简单数据挖掘与预测分析任务。
大数据领域数据仓库在教育科技领域的应用创新
AI天才研究院
04-29 789
教育科技(EdTech)领域正在经历数字化转型，数据仓库作为大数据基础设施的核心组件，在教育数据管理和分析中发挥着越来越重要的作用。本文旨在全面探讨数据仓库技术在教育科技领域的应用创新，包括架构设计、技术实现和实际应用场景。本文首先介绍教育数据仓库的基本概念和背景，然后深入探讨其核心架构和技术实现，接着通过实际案例展示应用场景，最后讨论未来发展趋势和挑战。数据仓库(Data Warehouse): 面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策: 数据抽取、转换和加载的过程。
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】8.3 交互式仪表盘开发（Dash/Flask可视化应用）
kngines
05-08 1243
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】8.3 交互式仪表盘开发（Dash/Flask可视化应用）
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】7.1 主流可视化工具对比（Tableau/Matplotlib/Python库）
kngines
05-07 1033
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】7.1 主流可视化工具对比（Tableau/Matplotlib/Python库）
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】电商数据分析案例-9.3 商品销售预测模型
kngines
05-09 460
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】电商数据分析案例-9.3 商品销售预测模型
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.4 异构数据源整合（CSV/JSON/Excel数据导入）
kngines
05-05 1413
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.4 异构数据源整合（CSV/JSON/Excel数据导入）
社交网络异常检测：大数据分析在网络安全中的应用
AI天才研究院
04-23 806
随着社交网络用户规模突破45亿（截至2023年），平台日均产生超500亿条交互数据，异常行为（如虚假账号、网络钓鱼、信息传播攻击）带来的安全风险呈指数级增长。本文聚焦大数据技术在社交网络异常检测中的工程实践，覆盖从数据采集到模型部署的完整技术链条，重点解析适用于大规模图结构数据的检测算法及其工程化实现方案。基础理论：定义核心概念，构建社交网络异常检测的技术坐标系技术解析：深入剖析统计模型、机器学习、图神经网络等关键算法实战指南：通过完整案例演示从数据处理到模型部署的全流程。
空间数据ETL：大数据预处理的核心技术解析
AI天才研究院
04-22 282
空间数据ETL是指针对具有地理位置属性的数据进行抽取(Extract)、转换(Transform)和加载(Load)的过程。随着地理信息系统(GIS)和大数据技术的快速发展，空间数据ETL已成为连接原始空间数据与高级空间分析应用的关键桥梁。系统阐述空间数据ETL的技术原理分析空间数据处理的特殊性和挑战提供可落地的技术实现方案探讨未来发展方向本文涵盖从基础理论到工程实践的完整知识体系，适用于各类空间数据处理场景。第2章介绍核心概念与技术架构第3章详细解析空间数据ETL算法。
数据仓库项目实现与Python应用实践
weixin_42126677的博客
09-01 2275
本文还有配套的精品资源，点击获取 简介："dw.project"似乎是一个数据仓库项目，可能使用Python作为开发语言。该项目的命名暗示它可能是主版本或源代码仓库的克隆。本文将深入探讨Python在数据仓库领域的应用，包括ETL过程、数据建模、性能优化以及与SQL的交互和数据可视化工具的使用。此外，将介绍数据仓库的基础知识、Python的ETL工具选择，以及自动化测试与部...
数据平台架构优化：提升系统性能与稳定性
AI天才研究院
02-12 518
数据平台架构优化旨在解决数据规模增长、业务需求变化、技术架构老化等问题带来的挑战，提升数据平台的性能、稳定性、可扩展性、高可用性和安全性，为企业提供更强大的数据处理和分析能力。阐述数据平台架构优化的背景、目的、范围和预期读者。介绍数据平台架构的核心概念，并使用 Mermaid 流程图展示其相互关系。详细分析提升数据平台性能和稳定性的关键策略，包括数据存储优化、数据处理优化、架构设计优化等。结合实际案例，使用代码示例演示如何进行数据平台架构优化。探讨数据平台架构优化在不同行业和业务场景下的应用。
[Linux]从零开始的STM32MP157 Buildroot根文件系统构建
c858845275的博客
05-02 1520
讲解了STM32MP157 Buildroot根文件系统的构建与挂载！
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.5 清洗流程自动化（存储过程/定时任务）
kngines
05-05 987
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.5 清洗流程自动化（存储过程/定时任务）
数据清洗-电商双11美妆数据分析
2401_82413059的博客
05-06 607
存在的缺失值很可能意味着售出的数量为0或者评论的数量为0，所以我们用0来填补缺失值。3.2 接下来用seaborn包给出每个店铺各个大类以及各个小类的销量销售额。2.1 因为数据中存在重复跟空值，将数据进行重复值处理。2.4 对是否是男性专用进行分析并新增一列。2.5 对每个产品总销量新增销售额这一列。3.1 接下来考虑各个类别的销售情况。2.3 数据挖掘寻找新的特征。由title新生成两列类别。给出各个关键词的分类类别。1.数据读取（前八行）3.数据分析及可视化。
数据分析平台选型与最佳实践：如何打造高效、灵活的数据生态？
Echo_Wish
05-08 153
从传统 BI（商业智能）到现代 AI 驱动的数据分析，选择合适的平台不仅影响数据处理效率，也决定了企业的数字化竞争力。面对市场上的众多解决方案（如 Apache Spark、ClickHouse、Snowflake、BigQuery、Presto），如何进行合理选型，并确保数据分析流程高效落地？今天，我们就来深入探讨这个话题，并结合代码实战，看看如何打造一个强大的数据分析平台。这里，我们使用 Kafka 将用户行为数据流式写入，后续可以直接在。同时，在技术实现上，结合。数据分析的核心是计算，我们可以使用。
Jupyter Notebook为什么适合数据分析？
qq_70350287的博客
05-06 998
jupyter它就像是一个多功能的工作间，给你提供了一个特殊的环境。比如说，你写了一大段代码，只想看看其中某个函数的运行效果，就可以把这个函数所在的代码块单独拿出来执行，不用重新运行整个程序，既节省时间又方便调试。代码上方的菜单栏提供了操作单元格的各种选项：insert (添加)，edit (编辑)，cut (剪切)，move cell up/down (上下移动单元格)，run cells(在单元格中运行代码)，interupt (停止代码)，save (保存工作)，以及 restart (重新启动内核)
Deepseek流式操作与用户行为数据分析day01
所念皆星河
05-06 164
Deepseek流式操作与用户行为数据分析day01
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】5.2 数据分组与透视（CUBE/ROLLUP/GROUPING SETS）
kngines
05-05 1321
【PostgreSQL数据分析实战：从数据清洗到可视化全流程】5.2 数据分组与透视（CUBE/ROLLUP/GROUPING SETS）
数据分析与逻辑思维：六步解决业务难题；参考书籍《数据分析原理：6步解决业务分析难题 (周文全, 黄怡媛, 马炯雄)》
最新发布
项目git同名小胡说技书
05-09 893
本文将以"懂业务、定指标、选方法、提数据、做测试、得结论"六步分析框架为主线，从形式逻辑、归纳演绎、因果分析和变量控制等角度，系统剖析数据分析在业务决策中的应用。每一步都将强调逻辑本质、决策价值和适用工具，并剖析常见逻辑谬误，帮助读者构建完整的数据分析思维体系。
电商双十一美妆数据分析
2402_88408747的博客
05-06 334
缺失值处理：识别 sale_count 和 comment_count 列的缺失值， data.loc[data['sale_count'].isnull()] 查看缺失行，然后用 data = data.fillna(0) 以0填充缺失值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言析数智

创作不易，感谢客官的打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值