本地执行Spark程序示例

Scala IDE  eclipse(去官网下载) 开发基于本地的spark程序 下载完成后,在写代码之前,需要对IDE做以下修改 (1)Scala IDE的默认Scala版本是2.11.7,  需要修改为2.10.x (2)加入spark1.6.0的jar包依赖 package ...

2016-02-03 14:15:09

阅读数 2590

评论数 0

机器学习实战—FPGrowth算法的实现

本博文主要讲FPGrwoth算法的java实现,话不多说,直接上代码 1.首先构建FP树所需要的数据结构。 package com.jiang.fpGrowth; import java.awt.event.FocusAdapter; import java.awt.image.Volatile...

2016-01-12 15:49:16

阅读数 2778

评论数 1

Spark集群安装

Spark在生产环境中,主要部署在安装有linux系统的集群中。在Linux系统中安装Spark需要预先安装JDK(此教程有讲到)、Scala等所需要的依赖。由于Spark是计算框架,所以需要预先在集群内搭好存储在数据的持久层,Spark主要使用HDFS充当持久化层,所以本教程安装Spark集群需...

2015-11-19 19:18:37

阅读数 424

评论数 0

hadoop安装教程

环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位、64位均可),请自行安装系统。如果必须使用RedHat、CentOS等,本教程也可以作为参考,配置是相似的,就是Linux命令、具体操作有所不同。 本教程基于原生 Hadoop...

2015-11-09 20:14:12

阅读数 554

评论数 0

Hadoop集群安装配置教程

之前在参考一些资料搭建hadoop集群的时候老是出错,心情也是不爽,后来同学推荐我看了这边博客,感觉讲的是真心不错,也按着上面来做了,最后搭建成功,真的很感谢写这篇博客的博主。在这里,也推荐给大家。 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu...

2015-11-09 20:09:56

阅读数 477

评论数 0

设计模式—构建器模式(Builder Pattern)

Builder模式的定义是用于构建复杂对象的一种模式,所构建的对象往往需要多步初始化或赋值才能完成。比如说现 在有一个类表学生应聘的基本信息。这些信息有一些信息是必须的,比如姓名,身份证号码等,而有许多是可选项, 比如民族、爱好等信息。学生的可选参数可能有20多个以上,这是一个非常的复杂的类了。传...

2015-09-24 19:41:31

阅读数 303

评论数 0

大众点评面经

说说大众点评校招经历。 一面(45分钟左右) 进入面试官的房间前,心情有点忐忑,进去后,面试官很客气的和我打了个招呼,他看上去比我大不了几岁,很客气,很友好,紧张的心情一下子好了许多。首先是自我介绍,我先简单介绍简单介绍一下自己的学校,然后是自己在学校的的项目和在这个项目中的职责,接下来就是介...

2015-09-23 13:00:10

阅读数 1520

评论数 0

设计模式—策略模式(Strategy Pattern)

上午花了一个小时看了这篇关于策略模式的博文,例子生动、内容具体。推荐给你们(http://www.uml.org.cn) 。转发这篇微博,只为互相学习。 策略模式(Strategy) 1  场景问题 1.1  报价管理 向客户报价,对于销售部门的人来讲,这是一个非常重大、非常复杂的问题,对不同的客...

2015-09-12 12:24:29

阅读数 364

评论数 0

有return的情况下try catch finally的执行顺序(最有说服力的总结)

结论: 1、不管有木有出现异常,finally块中代码都会执行; 2、当try和catch中有return时,finally仍然会执行; 3、finally是在return后面的表达式运算后执行的(此时并没有返回运算后的值,而是先把要返回的值保存起来,管finally中的代码怎么样,返回的值...

2015-09-11 16:25:19

阅读数 160

评论数 0

设计模式—观察者模式(Observer Pattern)

1.观察者模式 概念:定义对象间的一种一对多的依赖关系。当一个对象的状态发生变化时,所有依赖它的对象都会得到通知并被自动更新。 模式中的角色: 抽象主题(Subject):它把所有观察者对象的引用保存到一个聚集里,每个主题都可以有任何数量的观察者。抽象主题提供一个接口,可以增加和删除观察者对象。 ...

2015-09-08 16:50:53

阅读数 189

评论数 0

设计模式—模板模式(Template Pattern)

一、模板模式 模板模式又叫模板方法模式,在一个方法中定义一个算法的骨架,而将一些步骤延迟到子类中。 在讲模板模式模式之前  先来看一个例子: 加工流程: 咖啡冲泡法:1.把水煮沸、2.用沸水冲泡咖啡、3.把咖啡倒进杯子、4.加糖和奶昔 茶冲泡法:   1.把水煮沸、2.用沸水冲泡茶叶、3....

2015-09-08 00:17:25

阅读数 229

评论数 0

数据库—范式和事务

事务的概念 事务是用户定义的一个数据库操作序列,这些操作要么全做要么不全做,是一个不可分割的工作单位。例如,在关系数据库中,一个事务可以是一条SQL语句,一组SQL语句或者整个程序。 事务的开始和结束可以由用户显示控制。如果用户没有显示的定义事务,则有DBMS按照缺省规定自动划分事务。在SQL中定...

2015-08-31 20:23:49

阅读数 303

评论数 0

怎样花两年时间去面试一个人

今天无意间,看了一篇博文,感觉很好,就分享给大家了,希望你们读过后有感触、有帮助。 原文:   第一次,从哥哥那里知道一篇博客,就是文章的题目。一开始我并没有太注意文章的作者,后来到了第一家公司开始实习,在一次学习报告会上,知道一本书《暗时间》,知道一个人,刘未鹏。但我并不知道他是谁,...

2015-08-24 15:14:11

阅读数 288

评论数 0

Hibernate入门示例

前一篇博文已经对Hibernate有了一个整体的理解,本篇博文来看一下实现Hibernate的简单示例: 首先,来看下在Eclipse中整体的框架图: 框架图 其中,红色框起来的部分是我们需要的jar包,每个jar包的作用我就不一一介绍了,有兴趣的可以自己去看一看。 编辑实体(News类)...

2015-08-22 18:14:09

阅读数 240

评论数 0

Hibernate入门

Hibernate是一个开放源代码的对象关系映射(ORM)框架,它对JDBC进行了非常轻量级的对象封装,使得Java程序员可以随心所欲的使用对象编程思维来操纵数据库。 Hibernate可以应用在任何使用JDBC的场合,既可以在Java的客户端程序使用,也可以在Servlet/JSP的Web应用...

2015-08-22 17:22:18

阅读数 316

评论数 0

设计模式—七大原则

最近几年来,人们踊跃的提倡和使用设计模式,其根本原因就是为了实现代码的复用性,增加代码的可维护性。设计模式的实现遵循了一些原则,从而达到代码的复用性及增加可维护性的目的,设计模式对理解面向对象的三大特征有很好的启发,不看设计模式,很难深层地体会到面向对象开发带来的好处 。在刚开始学习中,很难做到将...

2015-08-22 11:20:56

阅读数 319

评论数 0

最长公共子字序列和最长公共子字符串

最长公共子串(Longest CommonSubstring)和最长公共子序列(LongestCommon Subsequence, LCS)的区别:子串(Substring)是串的一个连续的部分,子序列(Subsequence)则是从不改变序列的顺序,而从序列中去掉任意的元素而获得的新序列;更简...

2015-08-21 19:54:03

阅读数 353

评论数 0

设计模式—静态代理模式和动态代理模式(Proxy Pattern)

一、代理模式 所谓代理,就是一个人或者一个机构代表另一个人或者另一个机构采取行动。在一些情况下,一个客户不想或者不能够直接引用一个对象,而代理对象可以在客户端和目标对象之前起到中介的作用。代理模式给某一个对象提供一个代理对象,并由代理对象控制对原对象的引用。打个比方说,你要买火车票,但是你又不想去...

2015-08-20 18:09:57

阅读数 610

评论数 0

Java基础知识—垃圾回收机制

垃圾回收机制(Garbage Collection ,GC)是Java语言的核心技术之一。在java中,程序员不需要去关心内存动态分配和垃圾回收的问题,这一切都交给JVM(java虚拟机)来处理。那么在java中, (1)哪些内存需要垃圾回收器回收? (2)什么样的对象被认定为“垃圾”? (3)这...

2015-08-20 13:23:13

阅读数 219

评论数 0

Java基础知识—虚拟机类加载机制

1.虚拟机类加载机制定义 虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就是Java虚拟机的类加载机制。 2.类的生命周期       类从被加载到虚拟机内存中开始,到卸载出内存为止,它的整个生命周期包括:加载、连...

2015-08-20 01:22:42

阅读数 372

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭