- 博客(11)
- 收藏
- 关注
RSS订阅原创 linux伪分布模式配置
本机将Hadoop安装在opt/module/下1.切换到Hadoop2.7.2/etc/hadoop路径下vim core-site.xml将以下内容粘贴到configuration标签内"""<!-- 指定 HDFS 中 NameNode 的地址 --><property><name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value></proper
2020-11-10 22:04:32
241
原创 如何代码实现逻辑回归中KS曲线
# 自定义绘制ks曲线的函数def plot_ks(y_test, y_score, positive_flag): # 对y_test重新设置索引 y_test.index = np.arange(len(y_test)) # 构建目标数据集 target_data = pd.DataFrame({'y_test':y_test, 'y_score':y_score}) # 按y_score降序排列 target_data.sort_values(by =
2020-10-25 17:08:29
434
原创 岭回归与Lasso回归
岭回归解决了线性回归参数β可能出现的不合理现象，弥补其短板：1.当线性回归数据的行数小于列数2.数据中变量之间存在多重线性关系实现的思路其实就是在线性回归的基础上加一个l2惩罚项（正则项）将模型做凸优化而且系数本质上就是求半椭圆体与圆柱体的焦点Lasso回归岭回归模型解决了线性回归模型中矩阵X’X不可逆的办法是添加l2正则的惩罚项，但缺陷在浴室中保留建模时所有变量，无法降低模型的复杂度。对于此，Lasso回归采用了l1正则的惩罚项将模型做凸优化模型系数求解本质上就是求半椭圆体与
2020-10-22 22:24:34
273
原创 模型F检验与T检验的代码实现
模型的F检验（检验模型是否合理）步骤：1.提出问题的原假设和备择假设2.在原假设的条件下，构造统计量F3.根据样本信息，计算统计量的值4.对比统计量的值和理论分布的值，当统计量的值超过理论值时，拒绝原假设，否则接受原假设ESS：回归平方和，RSS：残差平方和，TSS:总体平方和代码实现#导入第三方模块import numpy as np#计算建模数据中因变量的均值ybar = train.Profit.mean()#统计变量个数和观测个数p = model2.df_modeln
2020-10-22 21:57:37
2272
原创 线性回归的代码实现
一元线性回归import statsmodel.api as smsm.ols(formula,data,subset=None,drop_cols=None)#formula:以字符串的形式指定线性回归模型的公式，如’y~x'就表示简单线性回归模型#data:指定建模的数据集#subset：通过bool类型的数组对象，获取data的子集用于建模#drop_cols：指定需要从data中删除的变量例子完整代码import pandas as pdimport statsmodels.ap
2020-10-22 16:44:08
551
原创 pandas模块的数据合并与连接
1.数据的合并pd.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False,keys=None)参数解释：objs：指定需要合并的对象，可以是序列、数据框或面板数据构成的列表axis：指定数据合并的轴，默认是0，表示合并多个数据的行，如果是1，就表示合并多个数据的列join：指定合并的方式，默认为outer，表示合并所有数据，如果改为inner,表示合并公共部分的数据join_axes:合并数据后，指定保留的数据轴i
2020-10-20 15:33:09
135
原创 如何使用Pandas模块实现excel中数据透视表功能
import pandas as pdres = pd.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,dropna=True,margins_name='All')参数解释：data：指定需要构造数据透视表的数据集values:指定需要拉入“数值”框的字段列表index：指定需要拉入“行标签”框的字段列表columns：指定需要拉入“列标签”框的
2020-10-20 15:18:51
1165
原创 pandas模块的外部数据读取方式及参数
1.文本文件读取pd.read_csv(filepath_or_buffer, sep=',', header='infer', names=None, usecols=None, skiprows=None, skipfooter=None, converters=None, encoding=None)参数解释：filepath_or_buffer:指定txt文件或csv文件所在的具体路径sep：指定原数据集中各字段之间的分隔符，默认为逗号“，”header:是否需要将原数据集中第一行作为表
2020-10-19 16:09:06
374
原创 MongoDB基本操作方法
1.数据库操作1.增use config #如果数据库不存在，则创建数据库，否则切换到指定的数据库2.查show databasesshow dbs #查看所有库#可以看到刚才创建的数据库config并不在数据库列表中，想要查看的话，必须要向数据库插入数据db.table1.insert({'a':1})3.删use config#要先切换到库下db.dropDatabase()#删除当前库2.集合操作1.增当第一个文档被创建时，集合就会被创建> use
2020-09-28 20:40:50
165
原创 Mac如何安装使用MongoDB
1.下载安装包下载地址：https://www.mongodb.com/2.将安装包解压至local文件夹下手动找不到时，可使用快捷键command+shift+g，在前往文件夹框输入/usr/local3.配置环境变量在终端输入 open .bash_profile打开配置文件，在文件中加入以下代码export PATH=${PATH}:/usr/local/MongoDB/bin（注意MongoDB是解压至local的文件名，如果后续配置完成没有效果可以查看此处是否出错！！）接着c
2020-09-25 15:14:15
309
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人