数据挖掘
皮皮猪QAQ
请你一定不要停下来,成为你想成为的人
展开
-
使用modin针对pandas进行性能优化
1.为什么要使用modin?我们在使用pandas进行数据处理时难免出现性能瓶颈,在实际工作生产中pandas操作百万高维数据时,性能不足的问题会逐步放大,这与pandas的单核运行机制相关,pandas在将大数据量加载入缓存时,会将庞大的dataframe同时拷贝入缓存中2.modin与pandas的性能对比实例我们来看一下使用modin分布式并行加速后pandas与原始pandas对比...原创 2020-01-09 10:08:49 · 1927 阅读 · 0 评论 -
pandas使用说明手册
导入数据pd.read_csv(filename):从CSV文件导入数据pd.read_table(filename):从限定分隔符的文本文件导入数据pd.read_excel(filename):从Excel文件导入数据pd.read_sql(query, connection_object):从SQL表/库导入数据pd.read_json(json_string):从JSON格式的字...原创 2019-11-18 15:12:00 · 4234 阅读 · 0 评论 -
superset docker 部署
superset酷炫的图表Superset一、使用自己的数据库拉取项目// 创建目录用于存放项目mkdir -p /mnt/supersetcd /mnt/supersetgit clone https://github.com/amancevice/superset.git配置数据库等这里默认你已创建了你自己的空数据库和具有读写该数据库权限的用户,到下面初始化时会自动在你的...转载 2019-06-27 17:17:45 · 954 阅读 · 0 评论