- 博客(17)
- 收藏
- 关注
RSS订阅原创 pycharm环境笔记
1、如果使用conda环境管理，不管是安装的anaconda3或者是miniconda3，如何确保pip安装的包可以在pychar环境中被正确的引用。step1:激活需要引用的包的环境：source activate %envName%。例如：source activate untitled正常情况下使用的envName，可以在pycharm的设置中可以看到，如下图：也可以使用：con...
2019-03-18 19:38:47
333
原创 mac系统下面调用brew报错core_ext/kernel_require.rb:55:in `require': cannot load such file
mac系统下面调用brew报错，如下所示：/usr/local/Homebrew/Library/Homebrew/vendor/portable-ruby/2.3.7/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': cannot load such file -- concurrent/synchroniz...
2019-03-04 16:43:56
2312
原创 [Pandas]Dataframe中切片常用技巧
1、根据值在是否在列表中进行切片：使用isin方法可以根据DataFrame中的某列的值是否在某个列表中来进行切片（注意：这里不要直接使用in,否则会报错），代码如下：pf = pd.DataFrame([['74-27-EA-4D-93-BD','act_click','click_news',3],['E0-3F-49-79-C8-97','act_biz','click_hb.seb',...
2019-02-19 08:54:16
4304
原创 [Pandas]Dataframe中的多条件切片为什么不能使用and运算符
对于Dataframe中同一列，如果有多个条件，则不能使用and运算符，需要使用&位运算符。示例如下：import pandas as pddf = pd.DataFrame({'name':['a','a','b','b'],'classes':[1,2,3,4],'price':[11,22,33,44]})print(df[(df['price']>11) and (df...
2019-02-15 15:40:33
6637
1
原创 【Hive】常用命令以及SQL整理
知识点一：explode(split(get_json_object(fieldDataName,’$.str’),’,’))1、fieldDataName表示数据库字段名；2、$.str表示要从数据库定中JOSN类型的字段中取的内容使用到的命令包括：1、get_json_object ：从JSON中取值；get_json_object，多层JSON的取值data ={"s...
2019-01-26 13:41:50
293
原创 MasOS下面的Conda+PyCharm环境准备
原本是在Win7环境下面（虚拟机）安装Conda的，但是在进行环境创建或者执行命令conda update --all的时候，会报SSLError(MaxRetryError('HTTPSConnectionPool(host=\'mirrors.tuna.tsinghua.edu.cn\', port=443): Max retries exceeded with url: /anacond...
2019-01-25 14:32:44
481
原创 [聚类算法]聚类算法中的K-Means实现以及验证
K-Means聚类算法，感觉是接触到目前为止，距离程序员思维最近的算法，应该也是使用到的数理知识最简单的算法。所以在记笔记的时候，忍不住，又去实现了一把，但是根据吴大大（吴恩达）的介绍来看，的确是不需要每个算法都自己去写的，而是需要了解的算法的本质、知道算法适用的场景，多加练习，才能达到熟能生巧的程度。符号“o”表示数据点。符号“x”表示我们需要寻找的中心点。主要思路描述：1、在所有的点...
2019-01-23 15:02:16
3112
1
原创 【支持向量机】学习纪录（关于对支持向量机核函数的理解、代价函数、向量机类型选择）
关于对支持向量机核函数的理解针对上图中：选择三个点l(1)、l(2)、l(3)，那么针对一个点X(i)到l(1)、l(2)、l(3)三个点的距离，按照正常的思维逻辑来理解：如果l(1)、l(2)是正样品，那么x(i)离这两个点越近，代表最终y=1的机率应该是越高的；反之，如果远离这两个点，则代表y=0的机率应该是越高的。带着这个现象，我们再看下支持向量机的核函数。假设：y=θ0+θ1*f...
2019-01-21 15:40:27
705
原创 【Python】Python连接Hadoop数据中遇到的各种坑（汇总）
最近准备使用Python+Hadoop+Pandas进行一些深度的分析与机器学习相关工作。（当然随着学习过程的进展，现在准备使用Python+Spark+Hadoop这样一套体系来搭建后续的工作环境），当然这是后话。但是这项工作首要条件就是将Python与Hadoop进行打通，本来认为很容易的一项工作，没有想到竟然遇到各种坑，花费了整整半天时间。后来也在网上看到大家在咨询相同的问题，但是真正解决...
2019-01-19 11:36:33
14783
21
原创 【正则化应用】正则化在线性回归以及逻辑回归中的应用
命题：hθ(x)=y=θ0+θ1*x1+θ2*x2+θ3*x12+θ4*x22正则化的思路需要分析每个参数对结果的影响，如果该参数对结果影响不大，则就需要把该参数拿掉，反之，则需要保留该参数。如果我们θ3是一个很小的参数，例如：0.00023，则我们认为θ3*x12是一个多余项；所以对原来代价函数做如下调整（使用λ来调整前后两个表达式之间的权重关系）：针对上述的表达式求导：以下的代...
2019-01-17 18:58:46
512
原创 【逻辑回归】使用逻辑回归进行实际操练
数据源采集吴恩达教授第6课的练习数据（ex6data3.mat）：1、在Ocatve中导入数据；L1=load(‘ex6data3.mat’);2、构建相关的记录集，并使用Plot观察数据：x=ones(size(L1.X)(1),3);x(:[2,3])=L1.X;y=L1.yy0=find(y0);y1=find(y1);plot(x1(y1,2),x1(y1,3),’+’...
2019-01-17 10:36:12
351
原创 关于Octave中的常用命令笔记
注：每次使用的时候，都需要到网上各种搜索，太痛苦了，专门放一个地方，以方便自己查阅。所有的i，j之类的小写代表常量，大写的X，Y代表矩阵或者向量1、矩阵及向量：ones(i,j):zeros(i,j)pinv(X):X’:find(条件):示例用户：将Y向量中的0，与1分开。 Y1=find(Y1); Y0=find(Y0);则X条件矩阵中的对于结果1的记录集，就可以使用X(Y...
2019-01-17 09:34:45
584
原创 【线性回归】生产应用中使用线性回归进行实际操练
前提：本文中使用的算法是在《【线性回归】多元线性回归函数在Octave中的实现（二）》中进行描述。命题：根据生产环境的中的用户功能使用情况，来推断接下来的用户使用量。使用数据如下：输入：天数（1，代表2018-12-01号；以后类似）1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17输出：使用量6144 3372 21119 15909 1504...
2019-01-15 21:16:41
1627
2
原创 【逻辑回归】逻辑回归函数在Octave中的实现
关于逻辑函数的导数计算过程，但是需要自己实践计算下。可以参考：https://blog.csdn.net/paopaohll/article/details/81807431整体的逻辑函数过程可以参考吴恩达的课件（网易云课堂）%入参：rap表示回归计算的步长 %入参：minvalues表示回归计算的最小偏差，如果小于该值则表示拟合成功，返回TheTa%入参：maxtimes表示最大拟合次数...
2019-01-15 09:56:02
645
原创 【线性回归】多元线性回归函数在Octave中的实现（二）
1、在《【线性回归】最简单的线性回归函数在Octave中的实现（一）》的基础上进行了扩展，主要是标识出来的那段代码；2、将训练结果Thsl，【i（训练集的条数），2（第一列训练的次数，第二列是两次训练的方差的误差）】，在训练完成之后，将Thsl的结果打印出来，就可以明显看到整体拟合的过程以及如何去调整rap(步长)代码记录，以备后查%rap表示回归计算的步长%minvalues表示回归计算...
2019-01-12 15:29:16
1499
原创 【线性回归】最简单的线性回归函数在Octave中及Python中的实现（一）
线性回归最简单的线性回归函数在Octave中的实现以下是回时调用：%rap表示回归计算的步长%minvalues表示回归计算的最小偏差，如果小于该值则表示拟合成功，返回TheTa%maxtimes表示最大拟合次数，如果达到该次数，即使没有拟合成功，也返回最后一次的TheTa值%x表示x的矩阵%y表示结果集%theta表示参数集function [TheTa,bResult] = ...
2019-01-11 10:32:23
850
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人