- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Amazon EC2上配置集群出现zookeeper启动失败的排错
转自：zookeeper启动失败的排错，保存在此以学习。1.执行zkServer.sh start 后显示：JMX enabled by defaultUsing config:/home/hadoop/app/zookeeper-3.4.5/bin/../conf/zoo.cfgStarting zookeeper ... STARTED2.jps
2016-11-21 04:00:38
5338
原创 ubuntu配置SSH免密码登陆，提示Permission denied (publickey).
在使用EC2的ubuntu实例创建Hadoop集群时，配置ssh密钥出现问题：ubuntu@ip-172-31-30-202:~$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/ubuntu/.ssh/id_rsa): Enter
2016-11-20 20:46:33
22414
2
转载 MapReduce中自定义文件输出名
转自：MapReduce中自定义文件输出名，保存在此以学习。MR的输出结果默认为part-r-00000，我们可自定义易识别的名字替代part，如score-r-00000[java] view plain copy job.setOutputFormatClass(MyOut.class);
2016-11-19 21:40:12
2908
转载 HDFS文件操作
转自：使用java api操作HDFS文件，保存在此以学习。全部程序如下：[java] view plain copyimport java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.
2016-11-19 16:39:57
3223
转载 KMeans聚类算法Hadoop实现
转自：KMeans聚类算法Hadoop实现，保存在此以学习。Assistance.java 辅助类，功能详见注释[java] view plain copy package KMeans; import org.apache.hadoop.conf.Configuration; import org.apac
2016-11-18 21:42:01
1134
转载 Reduce类
转自：Reduce类，保存在此，有助于Reduce执行过程的理解。4.4 Reduce类4.4.1 Reduce介绍整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，run
2016-11-12 00:49:31
1272
转载 Canopy聚类算法
转自：Canopy聚类算法，保存在此以学习。一、概念 与传统的聚类算法(比如K-means)不同，Canopy聚类最大的特点是不需要事先指定k值(即clustering的个数)，因此具有很大的实际应用价值。与其他聚类算法相比，Canopy聚类虽然精度较低，但其在速度上有很大优势，因此可以使用Canopy聚类先对数据进行“粗”聚类，得到k值后再使用K-means进行进一步“细”聚类。这
2016-11-08 21:52:00
939
转载 Canopy算法
转自：聚类-Canopy算法，保存在此以学习。Canopy一般用在K均值之前的粗聚类。考虑到K均值在使用上必须要确定K的大小，而往往数据集预先不能确定K的值大小的，这样如果K取的不合理会带来K均值的误差很大（也就是说K均值对噪声的抗干扰能力较差）。总之基于以下三种原因，选择利用Canopy聚类做为Kmeans的前奏比较科学、也是Canopy的优点。 Canopy的优点：
2016-11-08 21:50:03
3282
转载 Java产生随机数的几种方式
转自：Java产生随机数的几种方式，保存在此以学习，部分程序有误，重在讲解。 随机数在实际中使用很广泛，比如要随即生成一个固定长度的字符串、数字。或者随即生成一个不定长度的数字、或者进行一个模拟的随机选择等等。Java提供了最基本的工具，可以帮助开发者来实现这一切。 一、Java随机数的产生方式 在Java中，随机数的概念从广义上将，有三种。 1、
2016-11-03 16:53:35
6230
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人