win10中tensorflow-gpu安装

本机安装的版本号如下 操作系统:           Windows10     GPU型号:           NVIDIA GeForce 920MX TensorFlow版本:tensorflow-gpu 1.9.0 CUDA版本:        cuda_9.0.176_win10 C...

2018-07-25 10:25:43

阅读数 425

评论数 0

spark中日志清理

spark开启history-server之后,app日志会保存在制定的目录下, 若yarn开启日志收集,也需要进行app-logs的自动清理 ## yarn日志收集 yarn.log-aggregation.retain-seconds = 1209600 yarn.log-aggrega...

2018-07-17 10:54:26

阅读数 832

评论数 0

常见函数导数公式

2018-07-11 14:46:32

阅读数 4470

评论数 0

回归评价指标

分类问题一般使用准确率,召回率等评价指标,但是回归问题评价一般使用误差相关定义指标:MSE      Mean Squared Error     均方误差    这个就是目标损失函数loss functionRMSE   rmse = sqrt(MSE)MAER2参考:https://blog....

2018-07-10 16:40:49

阅读数 109

评论数 0

hbase regionserver进程启动参数

/usr/jdk64/jdk1.8.0_77/bin/java -Dproc_regionserver -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=18409 -Djava.rmi.server.hos...

2018-06-15 11:16:27

阅读数 132

评论数 0

hive中SerDe使用

SerDe is a short name for “Serializer and Deserializer.”Hive uses SerDe (and !FileFormat) to read and write table rows.HDFS files –> Input...

2018-05-07 11:21:48

阅读数 1107

评论数 0

推荐系统评测指标

用户满意度技术指标:准确率召回率覆盖率多样性流行度新颖度惊喜度实时性产品指标:点击率ctr转化率vppv

2018-03-29 14:42:37

阅读数 166

评论数 0

信息熵

信息熵信息增益信息增益比基尼系数马太效应

2018-03-29 14:05:01

阅读数 920

评论数 0

二分类评判指标

Precision:TP/(TP+FP),分类器预测出的正样本中,真实正样本的比例Recall:TP/(TP+FN),在所有真实正样本中,分类器中能找到多少Accuracy:(TP+TN)/(TP+NP+TN+FN),分类器对整体的判断能力,即正确预测的比例参考文章:http://alexkong...

2018-03-28 17:42:09

阅读数 166

评论数 0

NLP处理-Spark中的HashTF与CountVectorizer模型

http://spark.apache.org/docs/latest/ml-features.html#tf-idf import org.apache.spark.ml.feature._ import org.apache.spark.ml.linalg.SparseVector imp...

2017-07-10 15:32:17

阅读数 1614

评论数 0

maven编译异常错误loading CharSequence class file is broken

在用maven对项目进行编译打包时,遇到了下面奇怪的编译错误 "C:\Program Files\Java\jdk1.8.0\bin\java" "-Dmaven.home=C:\Program Files (x86)\JetBrains\IntelliJ ID...

2017-07-06 11:09:38

阅读数 3069

评论数 0

spark application运行时版本不兼容错误

17/06/27 14:34:41 INFO deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 17/06/27 14:34:41 INFO MemoryStore: Block broadca...

2017-07-03 17:46:52

阅读数 661

评论数 0

ssh远程到目标机器执行命令shell脚本

linux下ssh到目标机器首先需要配置免密码登陆,才能执行如下脚本   hostnames服务器列表文件 master.hadoop w1.hadoop w2.hadoop w3.hadoop w4.hadoop 运行shell脚本 #!/bin/bash function usage(...

2017-06-30 09:50:49

阅读数 1343

评论数 0

spark读取mongodb数据

val spark = SparkSession.builder .appName(this.getClass.getName().stripSuffix("$")) .getOrCreate() val df = spark.r...

2017-06-26 11:38:51

阅读数 6311

评论数 0

spark在windows上local模式下的缺失winutils.exe异常

在window10上Intellij IDEA上已Local的模式运行调试Spark程序,并且将中间结果写入本地目录时,程序抛出异常错误 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties ...

2017-06-19 11:49:41

阅读数 3704

评论数 0

mongo在shell中操作命令

在linux中安装mongodb的客户端很简单,下载对应版本的mongodb-linux-x86_64-rhel62-3.4.2.tgz,解压后加入目录bin到环境变量中就可使用 mongo 198.168.0.1:27017/nlp -u nlp_s -p 123456 连接mongo之后,数...

2017-06-05 11:44:07

阅读数 219

评论数 0

随机变量协方差的意义

在概率论中,两个随机变量 X 与 Y 之间相互关系,大致有下列3种情况: 当 X, Y 的联合分布像上图那样时,我们可以看出,大致上有: X 越大  Y 也越大, X 越小  Y 也越小,这种情况,我们称为“正相关”。 当X, Y 的联合分布像上图那样时,我们可以看出,大致上有:X 越大...

2017-05-26 14:12:16

阅读数 818

评论数 0

spark提交任务端口占用异常

当在同一台机器上提交多个spark任务时 并且是以client的方式提交,会报端口占用错误 17/05/05 15:51:07 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@3c8bdd5b: java.n...

2017-05-05 16:13:59

阅读数 4426

评论数 0

python库numpy的使用

python库numpy的使用

2017-04-27 15:24:36

阅读数 578

评论数 0

导数据中的网络引起的异常

最近由hive想应用数据库mysql 和 hbas导数据的时候,莫名的出现很多连接异常或者中断的情况,初步怀疑是开启并发过多占满网络带宽导致    导入mysql数据库 Lost connection to MySQL server at 'reading authorization pack...

2017-04-27 14:52:37

阅读数 287

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭