学习笔记
kkprcbp
这个作者很懒,什么都没留下…
展开
-
TeraSort and Join
Hadoop MapReduce: 首先,是分布式,是并行,所以一定要想到怎么样并行,使效率最高!(比如说teralist 就是各自并行的排序,有一个并行的过程。) TeraSort: 采样:分割,采每部分前面的,得到一个大概的分布。 找分割点。 各部分自己排序,但部分整体是相对任何其他部分有序。(reduce可以规定reduce输出也是有序的。) Join:方法一: I:f1,原创 2016-03-15 22:09:23 · 439 阅读 · 0 评论 -
第二章 感知机
1:用点到分割面的距离当作损失函数。 错误分类的点的距离用来评价 2:梯度下降 3:原始形式,对偶形式。原创 2016-03-15 22:12:32 · 352 阅读 · 0 评论 -
reducebykey groupbykey combinebykey
reduceByKey:groupByKey:combineByKey:原创 2016-03-29 16:11:14 · 1288 阅读 · 0 评论 -
连接笔记
1:jdk,scala.msi 2:ssh,putty 3:IDEA4:FILE-SETTING-PLUGINS-SCALA 5:FILE-PROJECT STRUCTURE-LIBRARIES-“+”-JAVA——-(SPARK-ASSEMBLY-HADOOP.JAR)6:NEW-ADD jdk-ADD SCALA 7:BUILD JAR ->OUT(“D:\SPARK DISTRIBUT原创 2016-03-10 18:41:55 · 391 阅读 · 0 评论 -
笔记二三
对于模型的理解: 之前觉得模型应该是一种有生动形象的图形或物体,并且如果遇到需要模型化的问题我总是去想怎样将问题变成一个形状或者物体。总是转不过来弯。经过思考与查阅资料,恩恩,模型其实可以就是一个数学表达式。可以为很多问题建立数学表达式。比如,堆栈问题,数据a1,a2,a3,,,,(i>0)按一定顺序进,有哪些可能的输出顺序呢? 我们可以用数学形式表示: if output sequenc原创 2016-03-14 10:54:53 · 345 阅读 · 0 评论 -
sqoop mysql to hbase java api 1.4.5
SqoopOptions options = new SqoopOptions(); options.setConnectString("jdbc:mysql://HOSTNAME:PORT/DATABASE_NAME"); //options.setTableName("TABLE_NAME"); //options.setWhereClau原创 2016-05-13 14:20:07 · 1065 阅读 · 0 评论