- 博客(9)
- 收藏
- 关注
RSS订阅原创 python list
1.查询元素个数list.count(obj)2.定位元素下标，返回待查找对象第一个匹配项的位置list.index(obj)
2018-08-15 15:12:46
141
原创 pandas 函数
apply()是一种让函数作用于列或者行操作，applymap()是一种让函数作用于DataFrame每一个元素的操作，map是一种让函数作用于Series每一个元素的操作
2018-06-14 13:34:18
184
原创 spark RDD
RDD是什么？RDD是spark中的一种数据类型，可以看作一个数组，不过RDD中的数据是分区存储的，不同分区的数据存储在不同的机器上，可以被并行处理。任何数据在spark中都被表示为RDD。spark应用程序所做的就是把需要处理的数据转换成RDD，然后对RDD进行一系列的变换和操作，从而得到结果。如何创建RDD？RDD可以从普通数组创建处理，也可以从文件系统或者HDFS中的文件创建。1.从普通数组...
2018-06-14 09:24:48
216
原创 评测指标
CTRCTR又称为广告点击率，英文名（click through rate）计算公式： CTR=click次数/impression次数CTR预估任务：比如给用户推荐一个电影，用户会不会看这个电影，看的概率有多高。应用场景：计算广告，推荐系统，信息流排序典型特征：具备大量的离散特征，存在大量高纬度的稀疏特征，特征工程很重要。挖掘特征包含两类工作，一类是找出以前没有用到的单一...
2018-06-11 10:43:48
301
原创 pandas DataFrame
属性1.columns列，index行，values值，shape大小，shape[0]行数，shape[1]列数2.下标从0开始，最后一个下标也可以从-1开始基本使用1.索引 性质1.使用append添加一行数据的时候，会产生新的对象，只有把结果重新赋值给原对象，原对象才会更新。但是，DataFrame对象越大，执行append的时候花的时间越多。所以，可以分...
2018-04-03 17:33:43
118
原创 python pandas str列内置方法
pandas的DataFrame，有时需要处理一些字符串类型列，运用Series.str列内置方法很方便。1.one hot 独热编码,get_dummiesseries=data['列名'].str.get_dummies(sep=',')实现DataFrame中列有多值，且想把这列one hot下2.切分字符串，split()series=data['列名'].str.split(',...
2018-03-28 17:58:40
14715
原创 python pandas处理缺失值
缺失值：python中显示为NaN，python用np.nan，None表示在简单的运算+-*/中，有缺失值的画，运算结果在相应的位置上也是缺失值在描述性统计sum,mean,min.max等中，NaN都是作为0进行运算操作：判断返回一个含有布尔值的对象，True表示是缺失值：data.isnull()删除删除含有空缺值的行：data=data.dropna()删除全为NaN的行：data=dat...
2018-03-28 17:22:29
2651
原创 Linux各文件夹含义
/ 根目录/boot 引导程序，内核等存放的目录/sbin 超级用户root可以使用的命令的存放目录，存放系统管理的命令，目标下命令都只有root权限才能执行/bin 普通用户可以使用的命令的存放目录/lib 根目录下的所程序的共享库目录/dev 设备文件目录/home 普通用户的家目录/root 用户root的$HOME目录/etc 全局的配置文件存放目录/etc/passwd 用户数据库，...
2018-03-27 14:53:40
294
原创 Centos7.3安装python3.6
root账户安装1.目前还没有安装python3，先备份,备份之前先安装相关包,用于下载编译python3yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make2.到python官网找到下载路径, 用wget下载wget https://...
2018-03-27 14:49:47
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人