网埠头-CSDN博客

原创龟云狄眦-Scala学习札记【二】Scala中lambda表达式的使用

Lambda 表达式初见

2017-08-03 22:21:53 2950

原创蜗龙徒行-Spark学习笔记【五】IDEA中集群运行模式的配置

IDEA中集群运行模式的配置

2017-07-31 23:59:11 1262 1

原创龟云狄眦-Scala学习札记【一】Scala中class、object、trait初识

Scala中class、object和trait的区别

2017-07-30 18:42:47 406

原创 Hadoop小兵笔记【六】hadoop2.2.0伪分布式环境搭建疑难-JobHistory显示Job信息为空

Hadoop本地模式竟然看不了Jobistory，只有集群模式下才可以！！！

2017-07-28 23:09:35 988 1

原创 Hadoop小兵笔记【五】hadoop2.2.0伪分布式环境搭建疑难-第一个用例wordcount失败

hadoop环境成功与否取决于配置文件是否配置正确，另外，hadoop分布式文件系统的原理还需要进一步研究，要知其然，知其所以然。

2017-07-26 22:51:38 504

原创 Hadoop小兵笔记【四】hadoop2.2.0伪分布式环境搭建问题-ssh登录失败

本文记录了基于Hadoop2.2.0搭建伪分布式环境过程中遇见的疑难问题，并给出解决方案，详记于此，以为后观。问题引子File /data/input/wordcountTest.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running an

2017-07-23 20:22:55 337

转载 Ubuntu 12.04 LTS忘记密码

Ubuntu 12.04 LTS忘记密码忘记密码是一件很头疼的事儿，LINUX通过单用户模式可以很轻松帮助你想要改变用户密码。但系统为Ubuntu 12.04 LTS 版本不一样。Ubuntu 12.04 LTS 进入单用户模式步骤: 1、开机到grub时，用上下键移到第二行的恢复模式，按e（注意不是回车）即Ubuntu，With Linux 3.2.0-29-generic（recovery

2017-07-12 22:00:27 385

转载 Hadoop小兵笔记【三】利用Eclipse将wordcount打包成可以运行在hadoop上的jar包

hadoop版本为hadoop1.2.1eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under t

2015-05-04 16:14:10 3289

原创蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验

所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任务紧急只能暂时作罢IDEA下任务提交，改由终端下使用spark-submit提交打包好的jar任务。

2015-04-14 16:27:53 7220

原创 Hadoop小兵笔记【二】Hadoop分布式集群扩展实战经验

Hadoop分布式集群扩展实战经验

2015-04-14 13:23:20 1130

原创蜗龙徒行-Spark学习笔记【三】Spark集群中worker节点扩展实战经验

Spark集群中worker节点扩展经验

2015-04-14 11:22:42 2178

转载数据挖掘学习笔记--系统聚类法和K均值聚类法

一.系统聚类法 1.基本思想将模式样本按距离准则逐步分类，类别由多到少，直到获得合适的分类要求为止。算法：第一步：设初始模式样本共有N个，每个样本自成一类，即建立N类，。计算各类之间的距离（初始时即为各样本间的距离），得到一个N*N维的距离矩阵D(0)。这里，标号(0)表示聚类开始运算前的状态。第二步：假设前一步聚类运算中已求得距离矩阵D(n)，n为

2015-04-09 20:20:00 9310

转载机器学习中的相似性度量标准

在做聚类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯

2015-04-08 17:03:33 660

原创蜗龙徒行-Spark学习笔记【二】Spark shell下kmeans聚类算法的应用

在终端打开spark-shell然后在scala编辑模式下依次输入以下命令：//导入算法执行所需函数库import org.apache.spark.mllib.clustering.KMeansimport org.apache.spark.mllib.linalg.Vectors// 加载并分析数据val data = sc.textFile("data

2015-03-26 12:07:36 2259

转载 scala常用语法总结

Clojure首先是FP, 但是由于基于JVM, 所以不得已需要做出一些妥协, 包含一些OO的编程方式 Scala首先是OO, Java语法过于冗余, 一种比较平庸的语言, Scala首先做的是简化, 以更为简洁的方式来编写OO, 主要利用‘type inference’能推断出来的, 你就不用写, 但如果仅仅这样, 不如用python 所以Scala象其名字一样, “可伸展的语言”, 它

2015-03-06 09:16:22 1298

转载 Windows + IDEA + SBT 打造Spark源码阅读环境

转自：http://www.guozhongxin.com/pages/2014/10/15/spark_source_code.htmlSpark源码阅读环境的准备Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。

2015-01-30 15:42:11 893

转载 Ubuntu学习札记【四】Ubuntu 12.04 在root登陆之后没有声音的解决方法

Ubuntu在root用户下，为了安全考虑默认是关闭了声音系统的。如果要开很简单，因为root登录后pulseaudio没有启动。所以要先启动它。【1】将root加到pulse和pulse-access组： sudo usermod -a -G pulse-access root gpasswd -a

2015-01-21 16:42:21 634

原创搭建基于hadoop 2.2.0的分布式集群启动时出现 "Unable to load native-hadoop library for your platform" 的解决方案

问题引出：搭建基于hadoop 2.2.0的分布式集群完成后，为了测试hadoop分布式集群，启动时执行命令: {HADOOP_HOME}/sbin/start-dfs.sh，经常会看到如下提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using

2015-01-20 18:36:02 796

原创蜗龙徒行-Spark学习笔记【一】初识Spark形成、演进、发展

【一】Hadoop版本演进过程由于Hadoop1.X 以前版本在 MapReduce 基本构架的设计上存在作业主控节点(JobTracker)单点瓶颈、作业执行延迟过长、编程框架不灵活等较多的缺陷和不足,2011 年 10 月,Hadoop 推出了基于新一代构架的 Hadoop0.23.0 测试版,该版本系列最终演化为Hadoop2.0 版本, 即新一代的 H

2014-12-15 20:58:14 809

转载 Hadoop小兵笔记【一】Hadoop安装过程中core-site.xml,hdfs-site.xml,mapred-site.xml配置文件详解

在搭建hadoop开发环境的时候，需要对hadoop进行配置，其中Hadoop1.x的配置文件放在{hadoop_home}/conf目录下，Hadoop2.x的配置文件放在{hadoop_home}/etc目录下，主要有core-site.xml,hdfs-site.xml,mapred-site.xml这几个文件。但是后来想到一个问题，hadoop的配置信息只有这么一点点吗？

2014-12-09 20:43:43 9621

原创 Linux操作系统下常用命令集锦【一】查询进程对应信息Lsof命令详解

问题引出：配置单机版的hadoop2.6.0后使用jps没有jobtracker和tasktracker ？解决方法：配完后使用jps查看，发现总是有一些没有启动，非常郁闷，在多番研究后发现有两个原因：一个是在/tmp目录下有以前使用2.02版本留下的文件没有删除，删除/tmp下所有文件即可；二个是因为端口被占用了，先用lsof查找对应端口是否被占用，若被占用可以用kill命令杀死该进

2014-12-09 10:49:50 572

转载 hadoop2.2完全分布式最新高可靠安装文档

hadoop2.2完全分布式最新高可靠安装文档问题导读：1.如何配置各个节点之间无密码互通？2.启动hadoop，看不到进程的原因是什么？3.配置hadoop的步骤是什么？4.有哪些配置文件需要修改？5.如果没有配置文件，该如何找到该配置文件？6.环境变

2014-12-04 18:32:55 581

原创 MOOC学院之Machine Learning学习笔记【第一讲】

【1】机器学习的定义亚瑟·塞穆尔将机器学习定义为在没有明确为计算机编写（完成某项具体任务的）

2014-11-25 09:19:17 743

原创 Ubuntu学习札记【综合篇】

【1】ubuntu 12.04 怎么卸载程序？

2014-11-13 09:33:45 504

原创 Ubuntu学习札记【三】Ubuntu 12.04下安装JDK1.8.0_25

JDK版本：1.7.0_04安装目录：/usr/local/development/jdk1.7.0_04安装JDK1.7的过程1. 打开网址http://www.Oracle.com/technetwork/java/javase/downloads/jdk-7u4-downloads-1591156.html，下载相应的JDK文件。2. 将下载的文件解压缩到/usr/loc

2014-11-12 22:33:13 882

原创 Ubuntu学习札记【二】Ubuntu 12.04软件中心安装flash插件过程失败解决办法

疑难引出：由于ubuntu下使用WebQQ不能传送文件，于是就想到安装wine（可以在 Linux，BSD，Solaris 和 Mac OS X 上运行 Windows 应用）来使用QQ，使用apt-get install命令安装，但是安装到一部分时出现卡死情况如下：正在设置 update-notifier-common (0.119ubuntu8.1) ...flashplugin-installer: downloading http://archive.canonical.com/pool/par

2014-11-11 09:25:27 879

空空如也

空空如也