python
知天易or逆天难
为往圣继绝学
展开
-
numpy与pandas常用函数
一、常用链接:1.Python官网:https://www.python.org/2.各种库的whl离线安装包:http://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learn3.数据分析常用库的离线安装包(pip+wheels)(百度云):http://pan.baidu.com/s/1dEMXbfN 密码:bbs2二、...转载 2018-03-08 16:42:03 · 3117 阅读 · 1 评论 -
在jupyter notebook上引用pyspark
最近都是直接使用pyspark shell或者用pycharm来写spark的代码,但是在处理数据或者看训练结果的时候还是jupyter notebook方便太多太多,但是在jupyter中没办法引入pyspark,导致不太方便,这里记录一下在jupyter notebook引入pyspark的方法。环境:anaconda(推荐所有人都装,非常的方便)python3.6,spark2.0,操作...原创 2018-06-22 17:31:12 · 8161 阅读 · 2 评论 -
pandas库中DataFrame对象的索引方式总结
DataFrame对象有多种比较方便的索引方式,以下一一进行总结DataFrame对象为df1. df[val]这边注意,返回的是DataFrame的副本,而不是视图其中val可以是1. 列名,也就是columns名,可以是单个列或者是由列名组成的列表,如果是单个列名则返回Serie对象,如果是列表则返回DataFrame对象2. 分片,用来进行行切片,比如df[:]...原创 2018-04-12 19:39:25 · 6841 阅读 · 0 评论 -
Pandas库中进行DataFrame的合并(pd.merge())和连接(pd.concat())方法
引言如果小伙伴使用过mysql,那么肯定知道mysql有join查询来连接多个表,这在数据处理中有时非常有用,对于强大的Pandas库来说,当然也有这种功能,而且Pandas也提供了将不同的DataFrame进行连接的操作,下面挨个介绍,并会加上实例pd.merge() | pd.join()merge和join方法都可以用于DF的合并,不过有些区别。 先看一下pd.merge(...原创 2018-04-15 15:24:56 · 25747 阅读 · 1 评论 -
numpy中stack()的方法的作用
np.stack()np.stack()方法大家肯定经常遇到,但是对于stack()的具体作用可能不一定非常明确,这里结合实例以及官方文档作用解释。Parameters: arrays : sequence of array_likeEach array must have the same shape.axis : int, optionalThe axis in the...原创 2018-03-31 12:56:12 · 35849 阅读 · 6 评论 -
macos下安装pyspider出现ImportError: pycurl错误
错误准确提示为:ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other) 解决方法如下:pip uninstall pycurlexport PYCURL_SSL_LIBRARY=opensslexport L...原创 2018-03-04 14:24:06 · 1162 阅读 · 1 评论 -
CTR预估模型1-FM
前言很久没更新过东西了,想记录一下学习过程,开一个CTR预估的系列,希望可以一直坚持更新吧~FM背景LR的缺点:线性模型无法学习特征间的交互信息特征组合对于实际的效果显著人为进行特征交叉由于用户行为的稀疏导致参数无法有效更新特征组合的有效性举个简单的例子,在预测一个用户是否会对剃须刀感兴趣时,性别男+剃须刀的组合特征相应权重可能更大,意味着二者共同出现时感兴趣的可能性...原创 2019-05-23 00:22:13 · 477 阅读 · 0 评论