2018年07月_大胖头leo

转载 Hadoop datanode/namenode无法启动

可以尝试格式化hdfs 但是要注意格式化会清空你在hdfs上的所有内容# 针对 DataNode 没法启动的解决方法./sbin/stop-dfs.sh # 关闭rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据./bin/hdfs namenode -format # 重新格式化 NameNode./sbin/start-d...

2018-07-30 11:25:44 147

原创什么是T检验

很多的检验和我们的直觉是一致的，前阵子在一个群里，有管理学院的人问说想看两个样本是不是来自于同一个分布，我叫他画两个CDF，一看就知道。对方说不要看图，我就让他用Kolmogorov-Smirnov Tests。我自己搜了一下，发现ks.test检验的就是拿两个CDF的距离做为统计量，虽然计算很复杂，但是和intuition那是相当一致啊。最简单也最常用的，莫过于T检验，用我们的直觉就可以理解...

2018-07-30 11:22:16 31059

原创 RMSE 和 R^2

SSE该统计参数计算的是拟合数据和原始数据对应点的误差的平方和MSE(均方差)=SSE/n该统计参数是预测数据和原始数据对应点误差的平方和的均值RMSE(均方根)该统计参数，也叫回归系统的拟合标准差，是MSE的平方根，***************************以上都是预测数据与原始数据对应点的评价，就是点与点的差别以下都与与原始数据均值相比较的************...

2018-07-30 11:22:05 10126

原创 P 检验， T检验

t指的是T检验，亦称student t检验（Student's t test），主要用于样本含量较小（例如n<30），总体标准差σ未知的正态分布资料 P值（P value）就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。总之，P...

2018-07-30 11:21:52 10302

原创回归分析标准化系数

标准化的回归系数是指将数据标准化（减均值除方差）后计算得到的回归系数。因为数据进行了标准化，因此就取消了量纲的影响。假设因变量为y，自变量为x，标准回归系数为a。那么在解释时就要说，当x变化1个标准差是，y变化a个标准差。标准化后的回归系数在不同自变量之间是可比的，没有标准化之前是不可比的。举一个例子：假设因变量是一个人的外貌给人的印象（y），自变量有身高（x1）、体重（x2）假如未标准化的回归系...

2018-07-30 11:21:41 30572 3

转载数据清洗-缺失值处理

为什么需要清洗数据？我们拿到的数据，无论是结构化的、半结构化的还是非结构化的数据，都是一个天生的畸形儿，从出生的那一刻就带来一身“疾病”。常常面临的问题主要包括，但不仅仅是，以下问题：数据不完整经常遇见比如人物属性字段值：性别，姓名，年龄，学历等，有缺失情况。一条记录，常常不是缺胳膊就是少腿，你还不能直接把它枪毙掉。数据有重复所有字段的值都相...

2018-07-30 11:21:27 2048

转载启动 Hadoop 时提示 Could not resolve hostname

如果启动 Hadoop 时遇到输出非常多“ssh: Could not resolve hostname xxx”的异常情况，如下图所示：启动Hadoop时的异常提示这个并不是 ssh 的问题，可通过设置 Hadoop 环境变量来解决。首先按键盘的 ctrl + c 中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP...

2018-07-30 11:20:32 7019 1

原创 Hadoop3 yarn无法启动（resourceManager/nodeManager）

local：8970 可以正常运行，但是当启动./sbin/start-yarn.shjpsjps上找不到 resourceManager 和 nodeManger的进程，查询日志发现以下错误信息 resourceManager报错Error starting ResourceManagerorg.apache.hadoop.yarn.webapp.WebAppExc...

2018-07-30 11:11:41 9227 8

转载【转】hadoop 3.x 安装问题汇总

一、伪分布式节点启动报错./start-dfs.sh Starting namenodes on [10.1.4.57]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Startin...

2018-07-30 10:53:25 1092 2

a8131357leo的博客