- 博客(30)
- 收藏
- 关注
利用带返回值多线程实现Hadoop中的WordCount实例
更多IT互联网学习资源,尽在“通通学 - 知识学习与分享平台” 学习过Hadoop的都知道中,里面有一个经典实例就是统计文档每个单词出现的次数,即WordCount实例。这里利用Executor框架及带返回值的多线程实现Word?Count实例。 以下是核心代码: WordCountMapper.javapackage com.tongtongxue.wordco...
2016-03-21 21:26:56
221
基于lucene5.5.0的创建索引与查询
lucene不同版本之间的创建索引与查询,稍微有一些不一样。目前lucene的最新版为5.5.0。查看源代码自带的Demo之后,我写基于lucene5.5.0的创建索引与查询方法。以下是源代码: IndexFiles.javapackage com.tongtongxue.lucene;import java.io.BufferedReader;import j...
2016-03-06 21:28:35
290
统计邮件的打开率
在发送了大量的邮件后,如何才能知道有多少人打开了这封邮件呢,又如何知道是哪些客户打开邮件呢?一开始想好像很难实现,其实只要稍微想一下,其实实现的方法可以很简单。实现的思路就是,当客户打开这封邮件的时候,能够向我们的服务器发送一条请求,请求上带有相关信息,这样我们就能够获取到我们要的信息了。 基于以上的需求,我用直接java做了一个实现。其中要求发的邮件中要带这样一条代码:...
2015-12-24 22:36:22
1482
1
动手写批量邮件发送器
在推广当中一定会用到的武器,那就是发送大量的营销性质的邮件。对于个人站长来说,也会用到,用于推广的自己的站点。同时由于搭建smtp服务器需要一定的技术及成本,为此我们可以利用一些免费的smtp服务器。比如说,新浪邮箱、网易邮箱、雅虎邮箱等等都会提供smtp服务,但是免费的smtp服务器会有发送邮件数目的限制,为此需要申请很多这样的邮箱,然后随机挑选一个邮箱来发送邮件。 基上以上的这些需...
2015-11-29 21:11:59
204
Hadoop深入浅出实战经典–第02讲
本文来源:通通学--知识学习与分享平台转载链接:http://www.tongtongxue.com/archives/220.html Hadoop的核心HDFS: Hadoop Distributed File System 分布式文件系统MapReduce:并行计算框架Yarn:集群资源管理和调度框架 Hadoop是什么?适合大数据的分布式存储、计算...
2015-11-20 13:03:06
163
网络爬虫:利用Selenium实现登录
本文转载:通通学--知识学习与分享平台转载链接:http://www.tongtongxue.com/archives/180.html 写过爬虫程序的码农都知道,实现爬虫程序登录的方法有多种,我这利用Selenium来实现登录。提供源代码下载 本案例实现登录的网站是iteye,同时登录时选择第三方登录工具,本处利用的新浪微博来登录。 以下是关键代码: ...
2015-11-15 21:55:08
404
动手写最优的单例模式
单例模式是码农常用的设计模式,但未必用的是最优的单例模式。在此通过代码逐步分析出最优的单例模式,分享给各位码农。 一说到单例模式,我想最快想到的就是饿汉的单例模式,即:public class Singleton { private Singleton () { } private static Singleton instance = new ...
2014-08-31 21:27:31
138
利用JS监控内存
在服务器上运行程序,有时会出现某些进程会占着内存不释放,久而久之会出现内存不够用的情况,为此我们需要一个后台程序,在不断的监控着内存,而且我们可以设置当内存达到一定的值时,就将那些占着内存不释放进程强制杀死。 其实实现该功能的方法有很多,在此我采用无所不能的javascript来解决这个问题。 模拟的情境:在当内存不足10M时,将iexplore.exe进程全部杀死。 ...
2014-08-12 21:53:01
678
一起研究haoop(二):Java代码操作HDFS
在此就不详细介绍HDFS是啥东西了,你只要问问google大神或度娘就一清二楚了。在此我主要用java代码实现对HDFS的增、删、查操作。 由于本工程是用Maven管理的,则pom文件如下:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem...
2014-03-26 23:01:07
93
吃透Java中的动态代理
动态代理在Java中是很重要的一部分,在很多框架中都会用到,如Spring中的AOP、Hadoop中的RPC等。为此在这把我对Java中的动态代理的理解分享给大家,同时写了一个模拟AOP编程的实例。(Demo实例提供下载) 引入场景如果要对第三方提供的JAR包中的某个类中的某个方法的前后加上自己的逻辑,比如打LOG,注意此时我们只有第三方提供的CLASS文件,因此根本不可能去修改别...
2014-03-12 19:52:05
130
自己动手写SSO(单点登录)
SSO在我们的应用中非常常见,例如我们在OA系统登录了,我们就可以直接进入采购系统,不需要再登录了,这样使我们非常方便。现在网上也有很多实现方法,于是乎我也想写一个看看。我主要用到的是cookie的机制。在此,分享给大家,同时提供源代码下载。 进入主题:工程说明SSO的实现一般是会有一个SSO Server,也会叫认证中心,同时也会有被认证的系统,如OA系统、采购系统等,他们就相...
2014-03-02 23:01:42
2238
1
自己动手写Tomcat
最近研究一方socket编程,由于想动手写关于socket方面的东西。然而我们知道通过URL去访问某网址,其实其底层用的就是socket,于是我就写了一个很简单的tomcat服务器,主要目地在于学习,在此分享给大家。同时提供下载源工程。 我写的工程用Maven管理的,但是我没有引入其它的JAR包,为此我就不列出pom.xml文件了。在此简要地说明每个类的作用: Server....
2014-02-28 00:25:03
118
maven搭建SSH工程
这是农历新年后的第一篇博文,呵呵小小的标记一下!在这一年主攻的知识:(与君共勉)1,海量数据的存储与海量数据的分析2,如何构建高并发的大型网站3,移动领域的开发 这篇文章主要是介绍如何用maven搭建经典的SSH工程。SSH对码农来说是老朋友中的老朋友啊,为此就不细讲过程,我只是将重要的配置文件亮出来,同时提供工程供下载。 关键配置文件pom.xml(个人觉得...
2014-02-16 19:37:22
112
自己动手写MVC框架
对于一个MVC框架来说,最重要的就是C了,特别是前端控制器。前端控制器首先要根据URL请求,来分发该请求应该由哪个controller中哪个方法来处理;然后controller处理完后,还要根据其返回值,最终定位要应该返回哪张视图给客户端,如图:为些我们实现一个MVC框架主要就是实现这个前端控制器。我写了一个很简单的MVC框架,我将代码分享给大家。 由于工程是由maven搭建的,则...
2014-01-25 21:26:07
169
一起研究hadoop(一):hadoop的伪分布式安装配置
目前hadoop如日中天,只要是涉及到云计算就一定会有hadoop的身影,这是为什么呢?我个人觉得主要是因为hadoop在海量信息的存储和海量信息的分析做得非常出色!目前也有很多人已经在研究hadoop了,为此我觉得我也应该跟随前者的脚步,我也相信你也是! 多余的话不说了,进入主题:第一:由于安装hadoop是要在linux环境下的,但是我们的操作系统是windows的,为此我们...
2014-01-19 22:30:13
87
原创 通过https协议访问Tomcat
我一般访问tomcat都是通过http协议的,其实只要通过简单设置,我们同样可以通过https协议访问tomcat。具体步骤如下:第一:进入cmd命令行,输入命令:keytool -genkey -alias tomcat -keyalg RSA按回车后,它会要你输入keystore密码:(我输入的是:CLOUND)按回车后,它会要你确认keystore密码:(我输入的是...
2014-01-15 23:41:42
247
原创 Spring + SpringMVC + Mybatis + Maven 搭建Web工程
我个人觉得以前“如日中天”SSH框架搭建Web工程,并不是最好搭配。就拿Hibernate来说,对于很大一部分程序员根本用不好它,而且当网站越大后,Hibernate也就显得很无力。 运用大工厂Spring强大的注入功能和运用轻量和SQL明确的Mybatis作为持久层,同时用Maven统一协调管理好JAR包。搭建这样的Web也是非常快速与简便的。 现在我把重要的配置都贴出来,供大...
2014-01-12 12:59:38
131
原创 BBC白领英语07
(Sequence of cross-fades as the listener is taken around the office)Anna: "Look forward to hearing from you soon. Kind regards[ri'gɑ:dz], Anna."Denise: (on the phone) ...And Margery said: 'I don'...
2014-01-05 21:03:47
156
原创 BBC白领英语06
<!--[if gte mso 9]><xml> <w:WordDocument> <w:View>Normal</w:View> <w:Zoom>0</w:Zoom> <w:PunctuationKerning/> <w:DrawingGri
2013-12-22 22:33:17
223
原创 BBC白领英语05
Narrator: 上周 Anna 得到了 Tip Top 贸易公司的销售专员职位。这还得归功于 Anna 面对紧急情况头脑清楚,反应快,处理问题得当。今天是她上班的第一天。How are youfeeling now, Anna?Anna: Excited, but a bit worried. I really want to make a good first impressi...
2013-12-08 20:51:49
208
原创 BBC白领英语04
Narrator: 欢迎回到 Tip Top 贸易公司。Anna 的工作面试被突然打断了。办公助理 Denise慌慌张张的进来,不知道发生了什么事情。Anna 能不能提点建议,帮忙解决难题呢?Denise: I don't know what to do!Paul: So what's the matter Denise?Denise: You know the Power['p...
2013-11-27 22:04:08
253
原创 BBC白领英语03
<!--[if gte mso 9]><xml> <w:WordDocument> <w:View>Normal</w:View> <w:Zoom>0</w:Zoom> <w:PunctuationKerning/> <w:DrawingGri
2013-11-24 21:48:46
234
原创 BBC白领英语02
<!--[if gte mso 9]><xml> <w:WordDocument> <w:View>Normal</w:View> <w:Zoom>0</w:Zoom> <w:PunctuationKerning/> <w:DrawingGri
2013-11-17 23:05:38
161
Velocity详解——(maven管理)
本文讲解了velocity主要的模板方法,会了这些方法基本上就会了velocity。同时本java工程是用maven管理,(maven的使用,大家可以看我的另一篇文章)。用到的是1.7版本。代码如下: pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20...
2013-11-10 11:01:40
491
观察者模式与spring的结合
本文利用spring强大的注入功能,实现了观察者模式。本文的例子对于有很多的if...else...同时相应的处理算法又很类似情况是一种解决方案。代码如下:(有代码才有真相。。。) 抽象观察者类:Observer.java package com.cloud.observer;import com.cloud.observer.model.ModelColumn;...
2013-11-02 14:42:50
150
原创 利用注解模拟权限管理
注解是JDK1.5的新特性,而且注解的生命周期可以有处于源程序阶段、字节码阶段和运行时阶段。标识的位置可以处于包级别、类级别、方法级别、属性级别和参数级别。本文主要利用注解的这些特性,模拟权限的管理。 定义一个权限组的注解类,同时该注解类的生命周期处于运行时阶段和处于类级别上。Group.javapackage com.cloud.annotation;import...
2013-10-13 09:05:17
76
原创 用反射机制调用类的main方法
运用反射机制来调用类的main方法,在一些框架当中经常用到。我们只需要将一个类的全名(即要包括包名)配置到配置文件当中。我们知道main方法的参数是一个String类型的数组,那么在反射当中应该要注意这个地方。代码中有详解。 MainClass.javapackage com.cloud.reflect;public class MainClass { public ...
2013-10-06 15:39:47
262
原创 运用反射机制实现改变对象的属性值
此处运用反射机制实现改变对象的属性值的功能。以下代码实现功能为:对一个对象中属性类型为String的字段,如果其值不是为"cloud",则将其改成"cloud"。我觉得实现的功能很简单,但很有指导性的意义。读者慢慢体会吧。 ReflectBean代码:package com.cloud.reflect;public class ReflectBean { priv...
2013-10-05 09:39:50
140
原创 Eclipse中简单搭建maven工程
利用maven来管理java工程,可以很好的处理jar包的问题,这对于项目的开发是十分重要的。在此,先简要的谈谈如何在eclipse中搭建maven工程。 第一、必要的装备JDK,至少要1.5以上,最好到官网下载最新的就行。我用的是JDK1.6.0_32;Eclipse,强烈推荐到官网下载比较新的版本即可。maven,,强烈推荐到官网下载较新的版本即可,我用的是3.1.0。...
2013-09-30 20:38:30
108
利用枚举实现单例模式
当一个枚举类型里,只有一个实例时,可以利用枚举的特性,实现单例模式,在此举一个简单的例子说明:package com.cloud.single;public enum DBManager { SINGLE; //其实,此处可以不写,默认的 private DBManager() {} public void connectDB() { System....
2013-09-21 18:06:52
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人