2015年08月_Watering_sea

原创 Spring面试题

1使用Spring框架的好处是什么？控制反转： Spring通过控制反转实现了松散耦合，对象们给出它们的依赖，而不是创建或查找依赖的对象们。面向切面的编程(AOP)： Spring支持面向切面的编程，并且把应用业务逻辑和系统服务分开。容器： Spring 包含并管理应用中对象的生命周期和配置。事务管理： Spring 提供一个持续的事务管理接口，可以扩展到上至本地事务下至全局

2015-08-28 12:59:38 732

原创 Java连接,操作MongoDB

java连接MongoDB非常的简单,具体来说就2步： 1：向新建的工程中导入java-mongo的驱动包如图: 2:建立一个链接帮助类,完成链接操作package com.yc.mongodb;import java.util.Iterator;import java.util.Set;import com.mongodb.BasicDBObject;import com.mon

2015-08-27 17:35:44 1026

原创 MongoDb之强大功能

mongoDb中有很多很强大的功能,例如可以随意的修改其类型,这也是关系型数据库比较难做到的。常用的命令： mongod -dbpath “D:\mongodb\db” –注册服务mongod -dbpath "D:\mongodb\db" -logpath "D:\mongodb\log\mongodb.log" -install -serviceName "MongoDB"

2015-08-27 13:12:30 529

原创 Windows下安装MongoDb

在windows下安装MongoDb是比较舒服的,具体的步骤如下： 1;MongoDb的官网,https://www.mongodb.org，按照对应的操作系统下载好对应的版本. 2.解压缩到自己想要安装的目录，比如d:\mongodb 3：接着创建一个data/db，也就是数据存放的目录，穿创建一个日志目录data/log d:\mongodb\data\db d:\mongodb\da

2015-08-27 10:38:01 732

原创 Hadoop之Reduce侧的联结

理解其就像关系型数据库中的链接查询一样,数据很多的时候,几个数据文件的数据能够彼此有联系,可以使用Reduce联结。举个很简单的例子来说,一个只存放了顾客信息Customer.txt文件,和一个顾客相关联的Order.txt文件,要进行两个文件的信息组合,原理图如下: 这里涉及的几个专业术语:Group key ，datasourde,Tag.前者的话通俗点来说的话就相当于关系型数据库中的

2015-08-27 00:17:31 1372

原创 Hadoop应用之顺序链接

虽然有些时候是可以手动的逐个操作作业的执行,但是更为便捷的方式还是自动的生成一个自动化的执行序列。我们可以将MapReduce作业按照顺序链接在一起,用一个MapReduce的作业的输出作为下一个作业的输入,类似于Unix的管道。测试的代码:a:主类Driverimport org.apache.hadoop.conf.Configuration;import org.apache.hado

2015-08-26 23:35:37 728

原创代理模式之cglib动态代理

上一篇博客说了实现InvocationHandler接口的jdk动态代理,另一种实现动态代理的方式则是：通过继承的方式实现的cglib动态代理。先在程序中导入cglib的包，cglib-nodep-2.1_3.jar。还是和上一个例子一样，区别就在于代理的实现。区别： JDK的动态代理机制只能代理实现了接口的类，而不能实现接口的类就不能实现JDK的动态代理，cglib是针对类来实现代理的，

2015-08-22 11:06:10 713

原创代理模式之JDK动态代理

学习spring过程中学习了它的核心思想AOP,也就是面向切面编程,而AOP的就是通过动态代理实现,动态代理有基于JDK模式的实现以及cglib继承的实现。 1：什么是代理？作用？代理为其他对象提供一种代理以控制对这个对象的访问。说白了就是，在一些情况下客户不想或者不能直接引用一个对象，而代理对象可以在客户和目标对象之间起到中介作用，去掉客户不能看到的内容和服务或者增添客户需要的额

2015-08-22 09:35:42 910 1

原创从Struts2源码学习Struts2的工作原理

今天我和我好基友啊斌通过探讨struts2的源码,总结了一下它的原理,代码是不会骗人的。总的来说:struts的工作原理有7步： 1 客户端初始化一个指向Servlet容器的请求；2 这个请求经过一系列的过滤器在项目部署的时候,由tomcat容器读取项目的web.xml文件,测试的web.xml文件如下： <?xml version="1.0" encodin

2015-08-15 16:04:24 1444 3

原创 hadoop之家族

hadoop如此成功,它下面的子项目也是很多,像pig,hive,hbase，等等,研究一个大项目,对其下面的子项目也是要有一定的了解才好、 1：pig 其实pig是Hadoop的客户端,当然其实hadoop的插件是可以安装在eclipse上的,但是对于不熟悉java的开发人员来说,看java代码会比较痛苦的。所以hadoop提供了一种其实是类似SQL的面向数据的语言PigLatin,

2015-08-12 00:44:15 711

原创 Hadoop之Map-Reduce

连续发3篇hadoop的文章，还真的有点累,但是在发表过程中又对其原理又有了比较清晰的了解了.感觉还是不错的。 Hadoop的第二大框架Map-Reduce,即分布式处理框架.总的来说它是对HDFS的具体实现。1：Map-Reduce原理:*把大文件分成很多个块，每一个块分别放在不同的节点上的做一个map函数，可以被jobtracker分配到各个节点上运行对分在机子上的数据进行mapm

2015-08-09 16:13:40 769

原创 hadoop之HDFS(分布式文件系统)

hadoop最自豪的两大支柱hdfs和map-reduce,让我们来了解hdfs。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。**HDFS（分布

2015-08-09 15:44:05 1097

已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃.详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:首先说下正确的搭建方式,然后在说下我们团队在搭建环境中出现的各种问题以及解

2015-08-09 13:16:09 840

原创 hadoop开发之环境搭建

已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:

2015-08-09 11:40:58 768

Watering_sea的专栏