- 博客(22)
- 收藏
- 关注
RSS订阅转载 《JAVA与模式》之模板方法模式
在阎宏博士的《JAVA与模式》一书中开头是这样描述模板方法（Template Method）模式的： 模板方法模式是类的行为模式。准备一个抽象类，将部分逻辑以具体方法以及具体构造函数的形式实现，然后声明一些抽象方法来迫使子类实现剩余的逻辑。不同的子类可以以不同的方式实现这些抽象方法，从而对剩余的逻辑有不同的实现。这就是模板方法模式的用意。模板方法模式的结构 模板
2016-11-02 09:50:47
317
原创 ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memo
ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.在Eclipse里开发spark项
2016-10-11 16:54:26
5820
转载 传统的MapReduce框架慢在那里
本文就两个问题进行讨论：1. 相比于Shark，为什么像Hive之类的传统MapReduce框架比较慢? 2. 对于细粒度的任务模型(fine-grained task model)，究竟有些什么优势?background本文翻译自Shark: SQL and Rich Analytics at Scale的论文第七章节，从理论上讨论了相比于Hive，Shark的优势在哪里，原文可
2016-10-07 14:39:40
562
原创 Linux如何查看进程、杀死进程、启动进程等常用命令
关键字: linux 查进程、杀进程、起进程1.查进程 ps命令查找与进程相关的PID号： ps a 显示现行终端机下的所有程序，包括其他用户的程序。 ps -A 显示所有程序。 ps c 列出程序时，显示每个程序真正的指令名称，而不包含路径，参数或常驻服务的标示。 ps -e 此参数的效果和指定"A"参数相同。 ps e 列出程序时
2016-09-24 09:23:32
332
转载 eclipse如何导入项目
先打开eclipse，如图所示。现在，我们以导入桌面上的activity01为例。打开eclipse后，如下图所示 。点击最左上角的文件按钮，如图所求。点击其中的import，导入文件夹，如图所求。点击后出现如下图所示的窗口，作出如图所示的选择就可以了。再作出如图所示的选择，选择你要导入的文件。如了，现在成功的导入进来报。
2016-09-23 19:07:01
341
原创 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序，在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序，但毕竟编写代码不方便。使用 Eclipse，我们可以直接对 HDFS 中的文件进行操作，可以直接运行代码，省去许多繁琐的命令。本教程由厦门大学数据库实验室出品，转载请注明。环境
2016-09-23 18:11:45
399
原创 java23种设计模式（1）：单例模式
定义：确保一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。类型：创建类模式类图：类图知识点：1.类图分为三部分，依次是类名、属性、方法2.以>结尾的为注释信息3.修饰符+代表public，-代表private，#代表protected，什么都没有代表包可见。4.带下划线的属性或方法代表是静态的。5.对类图中对象的关系不熟悉的朋友可以参考文章：设计模式
2016-09-23 09:28:07
208
转载 java中基本类型占用字节数
在移动开发中由于移动设备内存的局限性，往往需要考虑使用的数据类型所占用的字节数。下面简单介绍下Java中几种基本数据类型，以加深记忆。在Java中一共有8种基本数据类型，其中有4种整型，2种浮点类型，1种用于表示Unicode编码的字符单元的字符类型和1种用于表示真值的boolean类型。（一个字节等于8个bit）1.整型类型 存储需求 bit数
2016-09-21 20:42:51
1092
原创 使用java语言将数组中的数据写入txt文件，然后读取
public class NewTxt { public static void main(String[] args) throws IOException { int n = 5; //N*N数组 double[][] arr = new double[n][n]; //插入的数组 double[][] arr2 = new double[n][n];; //读取出的数组
2016-09-16 16:09:30
31108
3
原创 JAVA矩阵包JAMA学习
原文链接：JAMA:Java矩阵包API文档链接：线性代数Java包 JAMAjama是一个非常好用的java的线性代数软件包。适用于日常编程可能碰到的各种矩阵运算问题，提供了一个优雅的简便的解决方案。jama:java 矩阵包背景jama是一个基本的线性代数java包，它提供了实数非稀疏矩阵类，程序员可构造操控这些类。对于经常使用到矩阵运算的码农来说，即使不精通线性代
2016-09-14 17:53:28
4089
转载 使用mapreduce实现GA
摘要：遗传算法在大规模问题的求解中得到越来越多的应用。传统的基于MPI的并行遗传算法需要知道机器架构的细节。另一方面，由Google提出的MapReduce可用于开发具有扩展性和容错能力的应用，是一个强大的抽象模型。本文演示了如何使用MapReduce模型来为遗传算法建模。我们描述了GA的算法设计和在Hadoop上的实现，后者是MapReduce的开源实现。实验演示了多达10的5次方个变量的问题的
2016-09-10 16:48:35
488
原创 hadoop MapReduce程序中解决第三方jar包问题
在项目中碰到了MapReduce任务中需要引入第三方jar包的问题； 一、现象 报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。 二、解决方案方案1：把所有的第三方jar和自己的class打成一个大的jar包，这种方案显然笨拙，而且更新升级比较繁琐。 方案2： 在你的
2016-09-08 20:31:58
1429
1
原创 机器学习算法汇总
机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。学习方式根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建
2016-09-05 11:28:33
1096
原创 机器学习
有三种机器学习算法 1、 监督式学习 工作机制：这个算法由一个目标变量或结果变量(或因变量)组成。这些变量由已知的一系列预示变量(自变量)预测而来。利用这一系列变量，我们生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续，直到模型在训练数据上获得期望的精确度。监督式学习的例子有：回归、决策树、随机森林、K – 近邻算法、逻辑回归等。 2、非监督式学习 工作机制：
2016-09-03 15:20:29
561
原创 机器学习
有三种机器学习算法 1、 监督式学习 工作机制：这个算法由一个目标变量或结果变量(或因变量)组成。这些变量由已知的一系列预示变量(自变量)预测而来。利用这一系列变量，我们生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续，直到模型在训练数据上获得期望的精确度。监督式学习的例子有：回归、决策树、随机森林、K – 近邻算法、逻辑回归等。 2、非监督式学习 工作机制：
2016-09-03 15:19:10
717
原创 大数据基础（三）CentOS下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用
centOS下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用环境：Ubuntu Server 14.04.04 amd64 Hadoop 2.6.2 参考：http://itindex.net/detail/49323-mahout-%E5%AD%A6%E4%B9%A0-mahout新版的配置有略微改动1、下载http://www-us.ap
2016-08-26 22:15:03
1225
转载 数据归一化和两种常用的归一化方法
http://www.cnblogs.com/chaosimple/archive/2013/07/31/3227271.html
2016-08-18 17:15:40
529
转载 MapReduce 顺序组合， 迭代式，组合式，链式
1、顺序组合式顺序组合式就是按照指定顺序执行任务如：mapreduce1 --> mapreduce2 --> mapreduce3即：mapreduce1的输出是mapreduce2的输入，mapreduce2的输出式mapreduce3的输入代码片段如下：Java代码 String inPath1 = "hdfs://hadoop0
2016-07-04 21:53:10
2592
转载 Hadoop学习资料、博客及网站汇总
Hadoop官方的中文文档http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html Hadoop学习资料 -- 这里面总结了很多的东西，值得一一细看http://cloud21.javaeye.com/blog/607175 关于Hadoop的两本书 -- 有电子书下载http://caibinbu
2016-05-21 09:38:24
292
转载 Hadoop学习资料、博客及网站汇总
Hadoop官方的中文文档http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html Hadoop学习资料 -- 这里面总结了很多的东西，值得一一细看http://cloud21.javaeye.com/blog/607175 关于Hadoop的两本书 -- 有电子书下载http://caibinbu
2016-05-21 09:35:57
259
转载 Hadoop API 使用介绍
Hadoop API 使用介绍2014-04-10 16:51 2587人阅读 评论(0) 收藏 举报 分类： Hadoop基础概念（面试可用）（2） Hadoop API 使用介绍Hadoop API被分成（divide into）如下几种主要的包（package）org.apache.hadoop.conf 定义了系统参数的配
2016-05-18 10:23:18
571
转载 matlab 全部的随机数函数
（一）Matlab内部函数a. 基本随机数Matlab中有两个最基本生成随机数的函数。1．rand()生成（0,1）区间上均匀分布的随机变量。基本语法：rand([M,N,P ...])生成排列成M*N*P... 多维向量的随机数。如果只写M，则生成M*M矩阵；如果参数为[M,N]可以省略掉方括号。一些例子：rand(5,1) %生成5个随机数排列的列向量，
2015-09-04 17:29:16
769
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人