自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 numpy数组计算中的axis

 numpy数组计算中,经常要求按照某个轴计算,如axis=0/1.对于高维数组,究竟是在哪个维度上计算呢?其实axis中的0,1,2指的就是数组中数据块的层级关系。0就是最外层,指的是从最外层进入数组后的各个子数据块;1就是就是进入前面的各个子数据块后的更内层数据块。以如下二维数组为例,arr = np.array([[1,2,3], [6,5,4]]).(1) 当axis=0时,从最外层进入数组内部,面对的时[1,2,3]和[6,5,4]两个子数据块,将两个数据块计算,#求和In [25]: ar

2020-07-17 17:02:13 31

原创 pandas之concat陷阱

 使用pandas的拼接功能时,需要注意表索引是否一致。如果两个表的索引不一致,很可能出现拼接错误的情况。如下所示:原本想横向将两个df表拼接,但df3中的索引与df1不一致,导致最终的拼接结果在横向和纵向都有扩展;而df1和df2有相同索引,达到了期望的拼接效果。import pandas as pddf1 = pd.DataFrame([[101,'上海',23],[102,'北京',45],[103,'北京',15]],columns = ['ID','city','age'])df2 = pd

2020-07-08 15:49:08 68

原创 hive的left join 陷阱

hive中,左连接操作不能在on的右边加不等式条件。比如在hive中不能进行如下操作:select * from tabel_1 a left join table_2 b on a.id=b.id and a.salary>b.salary会出现报错。有人给出的答案是把上面语句改成:select * from tabel_1 a left join table_2 b on a.id...

2019-12-19 15:02:44 112

原创 matplotlib画图之图像不显示

不太了解matplotlib的工作原理,会犯很多“低级”错误。比如

2019-12-06 20:42:39 84

原创 FAILED: UDFArgumentTypeException Exactly one argument is expected.

   hivesql报错,FAILED: UDFArgumentTypeException Exactly one argument is expected.   百度看到有人的sum函数没有加入参数,我的加入了参数但是也报错。百思不得解,一顿乱找,最后发现竟然还是sum函数用错了。求多个字段的和直接用加号即可,而我把几个字段作为参数都...

2019-11-20 15:43:01 1590

原创 hive之union all语句

   学习hive代码,头一次发现union all命令,记录一下使用方法。union all 的主要功能是将将不同表的查询结果联合起来,前提是每个查询表的查询字段要相同才可以。结果如下:   ...

2019-11-14 19:30:24 296

原创 mysql的返回非空值函数coalesce

     该函数的目标是返回众多参数中的第一个非空值。原表t_person如下:使用coalesce函数小姑如下:上面的操作表示:对每一行,当此人的年龄值为的时候返回0,否则返回原来的值。  小小菜鸡今天又学了一点知识好开心呢  ^^...

2019-11-14 14:47:57 344

原创 sql的开窗函数

               (此文档用来记录日常学习收获,只是个人对知识点的理解)      开窗函数基本格式:sum(col_name)/count(col_name)/avg(col...

2019-11-14 10:51:21 27

原创 元素级的数组运算

应用场景:数组中含有大量元素,如果要对数组里面的元素进行加减乘除等计算,最容易的方法就是通过循环控制访问数组每个元素,并对每个元素进行操作。但是,这种循环方式使得计算效率十分低下。python提供了一些通过函数,可以直接将数组作为参数,直接将函数作用域数组中的元素。A、一元通用函数1.数组判空np.isnan(array_name)2.求整运算np.ceil(array_name):求...

2019-09-13 12:37:34 129

原创 logistic损失函数推导

\qquad Sklearn中逻辑回归的损失函数的推导:\qquad假设y的标签为1和-1,用极大似然估计法估计模型参数,P(Y=1∣Xi)P(Y=1|X_i)P(Y=1∣Xi​)=h(XiTW+C)h(X_i^TW+C)h(XiT​W+C)=11+exp(−(XiTW+C))\frac{1}{1+exp(-(X_i^TW+C))}1+exp(−(XiT​W+C))1​,则目标为估计最大化下列...

2019-05-19 12:44:59 283

原创 sklearn应用之logistic优化算法选择

class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, m...

2019-05-18 18:46:23 169

原创 Tensorflow设置gpu显存使用比例

一般情况下,tf程序会再运行时占用gpu所有显存。可以通过会话设置,使得代码只是用gpu一定比例的显存:config = tf.ConfigProto()congfig.gpu_options.per_process_gpu_memory_fraction = 0.4sess = tf.Session(config =config )...

2018-10-22 16:05:47 1111

原创 基于深度的图像相似度计算

已知每张图片上各个像素点在世界坐标系下的(x,y,z)坐标值,寻找一种快速获得两张图像相似度的方法。方法一:计算图片A上任一点(x1,y1,z1)和图片B任一点(x2,y2,z2)的欧式距离。如果距离值小于某个指定阈值,则该两点相同,否则不同。该方法缺点:计算量大,即使采用像素点抽样的方法,仍然有很大的计算障碍。比如100x100的图片,共有10000个点,抽样50%,则有5000个点。则计算两...

2018-09-20 17:35:30 1899

原创 谷歌facenet项目代码解读(一)--align_dataset_mtcnn.py

附上代码连接:align_dataset_mtcnn.py 该代码主要是用于人脸对齐和人脸图像缩略图存储用的。人脸对齐主要是将人的鼻子,眼睛,嘴巴等特征标识出来。人脸对齐之前需要做的工作是人脸检测,之后人脸对齐,接着才可以进行人脸识别或者人脸验证等。该脚本主要由两个函数构成,main函数和parse_arguments参数解析.parse_arguments函数比较简单,具体使用可参考py...

2018-09-12 11:34:39 1500

原创 马尔科夫决策过程知识详解1

本节介绍了深入浅出强化学习原理入门一书的马尔科夫决策过程一节。主要目的是整理其中知识点,以便日后复习所用。(侵删) 马尔科夫决策过程是一套可以解决大部分强化学习问题的框架,简称MDP。按照顺序分别介绍马尔科夫性,马尔科夫过程,以及马尔科夫决策过程。一 马尔科夫性马尔科夫性指的是系统的下一个状态S(t+1)仅与当前状态S(t)有关,与以前的状态无关。公式如下: ...

2018-09-11 18:11:59 979

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除