- 博客(10)
- 收藏
- 关注
RSS订阅原创 spark 邮件报错
在集群上跑代码，如果有问题，希望能发邮件到自己的邮箱。 想使用如下代码（环境是在win10下的intelliJ idea里，平时用sbt compile和双胞胎package，打成jar包后粘贴到集群spark里跑） import java.lang.Exception; import java.lang.RuntimeException; import java.lang.String;
2016-09-09 16:54:03
1782
转载 SSLHandshakeException
javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure 引用来自“刘正阳”的评论 你这个是jdk导致的，jdk里面有一个jce的包，安全性机制导致的访问https会报错，官网上有替代的jar包，换掉就好了 引用来自“嘉树”的评论 牛逼啊 包在这里 http://
2016-09-09 16:20:06
931
原创 工作笔记
从git上下载项目并编译： 1：git-bash.exe 2：shell命令创建目录 3：git init创建仓库 4：git pull +url 下载，使用git fetch 和git merge会更好 5：下载后，sbt compile ，编译出现中文错误，将javacOptions ++= Seq("-encoding", "UTF-8")写在pull后的文件里的build.s
2016-08-15 11:38:37
361
原创 sqoop mysql to hbase java api 1.4.5
SqoopOptions options = new SqoopOptions(); options.setConnectString("jdbc:mysql://HOSTNAME:PORT/DATABASE_NAME"); //options.setTableName("TABLE_NAME"); //options.setWhereClau
2016-05-13 14:20:07
1054
原创 reducebykey groupbykey combinebykey
reduceByKey： groupByKey： combineByKey：
2016-03-29 16:11:14
1278
原创 TeraSort and Join
Hadoop MapReduce： 首先，是分布式，是并行，所以一定要想到怎么样并行，使效率最高！（比如说teralist 就是各自并行的排序，有一个并行的过程。） TeraSort： 采样：分割，采每部分前面的，得到一个大概的分布。 找分割点。 各部分自己排序，但部分整体是相对任何其他部分有序。（reduce可以规定reduce输出也是有序的。） Join：方法一： I：f1，
2016-03-15 22:09:23
404
原创 笔记二三
对于模型的理解： 之前觉得模型应该是一种有生动形象的图形或物体，并且如果遇到需要模型化的问题我总是去想怎样将问题变成一个形状或者物体。总是转不过来弯。经过思考与查阅资料，恩恩，模型其实可以就是一个数学表达式。可以为很多问题建立数学表达式。比如，堆栈问题，数据a1，a2，a3，，，，（i>0）按一定顺序进，有哪些可能的输出顺序呢？ 我们可以用数学形式表示: if output sequenc
2016-03-14 10:54:53
331
原创 连接笔记
1:jdk,scala.msi 2:ssh,putty 3:IDEA4:FILE-SETTING-PLUGINS-SCALA 5:FILE-PROJECT STRUCTURE-LIBRARIES-“+”-JAVA——-(SPARK-ASSEMBLY-HADOOP.JAR)6:NEW-ADD jdk-ADD SCALA 7:BUILD JAR ->OUT(“D:\SPARK DISTRIBUT
2016-03-10 18:41:55
376
原创 统计学习方法概论
统计学习方法概论（学习李航的《统计学习方法》笔记）统计学习方法概论 1 统计学习 2监督学习 3 统计学习三要素 策略 4模型评估与模型选择 5正则化与交叉验证 6泛化能力 7生成模型与判别模型 8分类问题 9标注问题 10回归问题 快捷键 Markdown及扩展 表格 定义列表 代码块 脚注 目录 数学公式 UML 图 离线写博客 浏览器兼容1.1 统计学习统计学习（statistical lea
2016-03-07 16:45:24
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人