- 博客(6)
- 收藏
- 关注
原创 python xlrd和pandas 操作Excel文件的速度对比
# -*- coding: utf-8 -*-import datetimeimport jsonimport osimport pandas as pdimport xlrd# 打开文件def xlrdProcess(fileName,sheetName): t1 = datetime.datetime.now() data = xlrd.open_workbook(fileName) size = os.path.getsize(fileName) pr
2020-09-01 17:02:12
1525
原创 # ElasticSearch关于对数组聚合的问题(**[nested] nested path is not nested**)
ElasticSearch关于对数组聚合([nested] nested path is not nested)的问题记录一下使用ES时对数组类型数据进行聚合处理时的坑:由于ES官方自己说的对于所有类型的数据都默认支持数组形式,所以我在创建索引时没有指定nested类型,首先创建如下索引(并没有指定user的类型):索引结构如下:这个时候user存的是一个数组,数组中有两个object类型数据,现在假设需求是要按分数分组,然后统计每个分数下各个人的名字和数量。通常就是两个terms聚合搞定:
2020-05-15 14:50:47
6780
8
转载 MySQL索引背后的数据结构及算法原理
摘要本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第一部分...
2019-11-29 17:04:52
172
原创 MySQL日志信息详解
参考文章:https://www.cnblogs.com/f-ck-need-u/p/9001061.html#auto_id_4MySQL日志信息详解在MySQL中,主要有5种日志文件:1.错误日志(error log):记录mysql服务的启停时正确和错误的信息,还记录启动、停止、运行过程中的错误信息。2.查询日志(general log):记录建立的客户端连接和执行的语句。3.二进...
2019-11-10 17:00:11
495
原创 数据挖掘--数据预处理
数据预处理方法小结根据自己的经验,总结了一下使用过的数据预处理的方法和小技巧。在进行数据分析的时候,工作量最大也最复杂的地方就是对数据进行预处理,一般分为四个步骤:数据清理、数据集成、数据变换、数据归约。一、数据清理(缺失值、异常值、无关值、噪音、重复值)缺失值:1、删除:数量较少,对整体数据没什么影响的直接删除该条数据。2、对缺失数据插补:方法较多,例如用该属性的均值、众数、中位数插补,这...
2019-11-03 15:42:03
925
原创 anaconda和python3共存问题,解决pip install安装时的冲突问题
如果电脑中同时安装了anaconda和python3,在安装包时有时会莫名其妙的出错,或者是找不到安装的包。解决方法如下:1、首先设置电脑属性中的环境变量2、保险起见在用户变量和系统变量中都添加anaconda和python的安装路径和Scripts路径3、冲突的原因还和anaconda与python的启动文件名相同导致冲突问题,因此修改其中任意一个的启动文件名。修改后以后安装包或者启...
2019-08-19 17:44:30
11765
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人