大数据
lytcreate.
唯有热爱,可抵万难。
展开
-
Mycat+Mysql搭建数据集群实现数据分片存储
Mycat+Mysql搭建数据集群实现数据分片存储原创 2024-05-20 17:33:15 · 651 阅读 · 0 评论 -
mysql高可用集群MGR组复制的介绍、部署及配置说明
MGR组复制mysql高可用集群搭建部署及测试原创 2024-05-10 16:04:44 · 1014 阅读 · 0 评论 -
mysql NDBcluster数据库集群介绍、部署及配置
MySQL集群是一个无共享的、分布式节点架构的存储方案,旨在提供容错性和高性能。它由三个主要节点组成:管理节点(MGM)、数据节点和SQL节点。这三个节点之间通过网络进行通信和交互。管理节点负责监控整个集群的状态,并根据需要调整配置或执行恢复操作。数据节点存储实际的数据,并处理与数据相关的操作。SQL节点作为客户端与集群之间的接口,负责接收请求、转发请求和处理响应。当客户端向SQL节点发送请求时,SQL节点会根据请求的类型和内容将其转发给适当的数据节点。原创 2024-05-07 15:25:10 · 1122 阅读 · 0 评论 -
msck repair table注意事项
当我们遇到需要执行刷新hive数据语句msck repair table时。这个报错是因为如果表没有分区就不需要进行刷新数据。原创 2024-04-11 14:14:58 · 141 阅读 · 1 评论 -
pandas文件压缩:输出两个csv压缩文件并再次压缩
对两个文件再次进行zip压缩,格式为.zip。1.输出2个文件为csv.gz,进行首次压缩。原创 2024-02-26 14:44:54 · 149 阅读 · 0 评论 -
pandas数据处理优化过程记录
一:前后frame的索引index必须是一样的。但是不知道为什么,使用这种方法进行计算时,有一些数据明明手动计算出来是有数值 ,但是上述代码计算出来是0,这块研究了下大概是向量偏移的问题,后来也没有深究就直接换方法处理了。1.使用apply方法,好处是算出来的结果和手动计算是一致的,但是apply方法相当于是逐行进行计算的,导致计算时间大打折扣,计算完大概需要15分钟。div() 除:base_frame['aaa'].div(base_frame['bbb'])原创 2024-01-08 22:50:00 · 413 阅读 · 0 评论 -
Hive部署及常用命令
Hive部署及常用命令。原创 2023-11-15 21:39:33 · 24 阅读 · 0 评论 -
HDFS安装及常用命令
HDFS安装及常用命令。原创 2023-11-15 21:37:21 · 36 阅读 · 0 评论 -
Hbase安装及错误解决
Hbase安装及错误解决。原创 2023-11-15 21:35:28 · 119 阅读 · 0 评论 -
Hbase常用命令
Hbase常用命令。原创 2023-11-15 21:34:10 · 18 阅读 · 0 评论 -
大数据处理神器datatable库安装及使用(远超pandas效率)
大数据处理神器datatable库安装及使用(远超pandas效率)原创 2023-11-15 21:28:24 · 651 阅读 · 0 评论 -
分布式大数据计算系统Dask分布式部署及使用
分布式大数据计算系统Dask分布式部署及使用。原创 2023-11-15 21:25:06 · 564 阅读 · 0 评论