- 博客(3)
- 收藏
- 关注
RSS订阅原创 Linux下Socket编程基础
Socket是网络通信的端点抽象，如同现实世界中的电话插座，一个人想要用电话，肯定需要把插头插到插座中，而在网络上你想跟其他节点通信，也需要将socket这个插头插进网络中。在Linux系统中，socket表现为一个int类型的文件描述符，我们完全可以把其当作一个文件，对其执行读取写入等操作。
2025-02-04 19:38:46
2434
原创 MYSQL 在ubuntu中的安装与使用
这些数据库是 MySQL 系统的内置部分，用户不能删除它们，而且它们为 MySQL 提供了必要的管理、性能监控和元数据存储功能。表的所有列（字段），以及它们的数据类型、是否可以为空、是否是主键等信息。插入数据是增（Create）操作的核心。作为当前操作的数据库，后续的所有操作都将在该数据库中进行。在创建数据库之后，你可以创建表来存储数据。创建好表后，你可能需要查看表的结构（并非数据），可以使用。如果你需要删除表中的所有数据，但保留表结构，可以使用。在你查看到一个可用的数据库后，你需要使用。
2025-01-11 12:29:05
2119
数据处理基于Pandas的大规模CSV去重分析系统：多组合字段重复检测与归一化排序实现
内容概要：该Python脚本用于检测CSV文件中基于不同列组合的重复数据行，并生成详细的统计报告与去重后的内容文件。程序采用分块处理机制以降低内存消耗，支持对MAC地址、主机名等多种字段组合进行归一化和重复识别，最终将结果按指定列排序输出。核心功能包括多列组合重复检测、数据归一化、外部排序及大文件高效处理。;
适合人群：具备Python编程经验，熟悉pandas、csv等数据处理库的开发人员或数据工程师，尤其适合需要处理大规模CSV数据的技术人员；
使用场景及目标：①识别设备指纹数据中的重复记录（如网络设备日志）；②实现低内存开销的大规模数据清洗与去重；③分析不同字段组合下的数据重复模式；
阅读建议：建议结合实际数据运行代码，关注配置模块中的列定义与路径设置，理解两轮遍历的设计思想（第一轮统计频次，第二轮提取重复项），并掌握外部排序在大数据量下的应用方式。
2025-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人