2016年01月_MrCharles

12月 10月 09月 08月 07月 02月 01月

原创如何做系列(4)-微博URL短网址生成算法原理（java版、php版实现实例）

短网址（Short URL），顾名思义就是在形式上比较短的网址。通常用的是asp或者php转向，在Web 2.0的今天，不得不说，这是一个潮流。目前已经有许多类似服务，借助短网址您可以用简短的网址替代原来冗长的网址，让使用者可以更容易的分享链接。例如：http://t.cn/SzjPjA短网址服务，可能很多朋友都已经不再陌生，现在大部分微博、手机邮件提醒等地方已经有很多应用模式

2016-01-29 18:41:49 3472

原创如何做系列(5)-james mail安装总结

安装james还是比较复杂的，我们在EC2上花费了差不多一天，发现不能发送邮件到外网，后续又陆续花了几天的时间，才成功搭建james邮件服务器。现在愿意把我们的经历分享出来，让大家参考一下。　由于项目需要部署在Linux上，而又使用到Apache James作邮件服务器，因此总结了一下在Linux上部署Apache James的步骤，写得比较凌乱。在Linu

2016-01-29 18:41:22 7034

原创如何做系列(3)-Java数据类型和MySql数据类型对照表

Java数据类型和MySql数据类型对照表

2016-01-24 15:15:32 1181

原创 Selenium浏览器自动化测试使用(2)

Selenium - 环境安装设置为了开发Selenium RC或webdriver脚本，用户必须确保他们有初始配置完成。有很多关联建立环境的步骤。这里将通过详细的讲解。下载并安装Java下载并配置Eclipse配置Firebug和FirePath配置Selenium RC配置Selenium的webdriver下载并安装Java

2016-01-20 20:09:25 2255

原创 linux使用wget

wget is a Linux command-line utility for retrieving files from the web, via HTTP, HTTPS and FTP protocols. When you are using wget to download a file at a particular HTTP url, wget sends an approp

2016-01-19 17:55:40 2980

转载 Spring Security Web应用入门环境搭建

在使用Spring Security配置Web应用之前，首先要准备一个基于Maven的Spring框架创建的Web应用（Spring MVC不是必须的），本文的内容都是基于这个前提下的。pom.xml添加依赖除了Spring框架本身的一些依赖包，还需要在pom.xml中添加Spring Security的依赖包：12345678910dependency

2016-01-19 16:09:56 1025

原创 Selenium浏览器自动化测试使用(1)

Selenium - 介绍Selenium是一个开源的和便携式的自动化软件测试工具，用于测试Web应用程序有能力在不同的浏览器和操作系统运行。Selenium真的不是一个单一的工具，而是一套工具，帮助测试者更有效地基于Web的应用程序的自动化。现在让我们了解selenium套件和使用这些工具。我们将着眼于以下工具功能：工具描述Selenium IDESe

2016-01-19 10:22:56 4714

原创 mahout in Action2.2-聚类介绍-K-means聚类算法

聚类介绍本章包括 1 实战操作了解聚类 2.了解相似性概念 3 使用mahout运行一个简单的聚类实例 4.用于聚类的各种不同的距离测算方法作为人类，我们倾向于与志同道合的人合作—“鸟的羽毛聚集在一起。我们能够发现重复的模式通过联系在我们的记忆中的我们看到的、听到的、问道的、尝到的东西。例如，相比较盐，糖能够是我们更

2016-01-18 12:46:21 2744

原创 mahout in Action2.2-给用户推荐图书（3）-评价推荐系统

推荐系统引擎是一个工具，一种回答问题的手段，“对用户来讲什么是最好的推荐？”，在研究回答的前先研究一下这个问题。一个好的推荐的准确含义是什么？如何知道推荐系统是如何生成推荐的？下面的章节将探索推荐系统的评价，在寻找特定推荐系统时，这将是一个有用的工具。最好的推荐系统是心理学的范畴，有人在你做事情之前知道确切的知道你还没有看过的、或者没有任何现象说明你喜欢的一些item，以及你对这些item

2016-01-18 12:30:38 2425

原创 Javascript图片预加载详解

预加载图片是提高用户体验的一个很好方法。图片预先加载到浏览器中，访问者便可顺利地在你的网站上冲浪，并享受到极快的加载速度。这对图片画廊及图片占据很大比例的网站来说十分有利，它保证了图片快速、无缝地发布，也可帮助用户在浏览你网站内容时获得更好的用户体验。本文将分享三个不同的预加载技术，来增强网站的性能与可用性。方法一：用CSS和JavaScript实现预加载实现预加载图片有很多方法，

2016-01-14 21:06:00 1220

转载搭建一个免费的，无限流量的Blog----github Pages和Jekyll入门

喜欢写Blog的人，会经历三个阶段。　　第一阶段，刚接触Blog，觉得很新鲜，试着选择一个免费空间来写。　　第二阶段，发现免费空间限制太多，就自己购买域名和空间，搭建独立博客。　　第三阶段，觉得独立博客的管理太麻烦，最好在保留控制权的前提下，让别人来管，自己只负责写文章。大多数Blog作者，都停留在第一和第二阶段，因为第三阶段不太容易到达：你很难找到俯首听命

2016-01-13 16:47:18 1161

转载 javascript 解析ajax返回的xml和json格式的数据

写个例子，以备后用一、JavaScript 解析返回的xml格式的数据：1、javascript版本的ajax发送请求（1）、创建XMLHttpRequest对象，这个对象就是ajax请求的核心，是ajax请求和响应的信息载体，单是不同浏览器创建方式不同（2）、请求路径（3）、使用open方法绑定发送请求（4）、使用send() 方法发送请求

2016-01-13 11:22:12 1570

转载 Hadoop RPC

Remote Procedure Call 远程方法调用。不需要了解网络细节，某一程序即可使用该协议请求来自网络内另一台及其程序的服务。它是一个 Client/Server 的结构,提供服务的一方称为Server，消费服务的一方称为Client。Hadoop 底层的交互都是通过 rpc 进行的。例如：datanode 和 namenode、tasktracker 和 jobtracker

2016-01-11 09:10:04 1853 1

原创 MapReduce深入理解输入和输出格式（2）-输入和输出完全总结

MapReduce太高深，性能也值得考虑，大家感兴趣的还是看看spark比较好。FileInputFormat类FileInputFormat是所有使用文件为数据源的InputFormat实现的基类，它提供了两个功能：一个定义哪些文件包含在一个作业的输入中；一个为输入文件生成分片的实现，把分片割成记录的作业由其子类来完成。下图为InputFormat类的层次

2016-01-08 20:44:50 6539

原创 MapReduce深入理解输入和输出格式（1）-输入分片与记录

一个输入分片( in put split)就是能够被单个map 操作处理的输入块. 每一个map 操作只处理一个输入分片，并且一个一个地处理每条记录，也就是一个键/值对。输入分片和记录都是逻辑上的，并不必要将它们对应到文件(虽然一般情况下都是这样的)。在数据库中. 一个输入分片可以是一个表的若干行，而一条记录就是这若干行中的一行(事实上DBlnputFormat 就是这么的，它是一

2016-01-07 22:10:38 2497

原创 Hadoop构架概览

hadoop是一个开源的软件框架，是一个利用商业硬件处理和存储大型数据的软件。从下到上主要有五个主要的组成部分：集群，是一套主机（节点）组成的。节点可以以机架划分。这个是硬件级别的构架.YARN构架 (目前为止的另外一个资源管理器)是一个负责提供计应用执行的时候需要的计算资源的框架（也就是cpu,内存等等）. 两个重要的部分如下：:一个资源管理器 (每个集群一个)

2016-01-07 20:56:47 1498

原创 Spring Http Basic（基本）和Digest（摘要）验证

Basic（基本）和Digest（摘要）验证都是web应用中很受欢迎的可选机制。 Basic验证一般用来处理无状态的客户端，它们在每次请求都附带它们的证书。很常见的用法是把它和基于表单的验证一起使用，这里的应用会同时使用基于浏览器的用户接口和web服务。然而，basic验证使用原文传送密码，所以应该只通过加密的传输途径发送，比如HTTPS。9.1. BasicAuthentic

2016-01-07 12:46:55 2879 1

原创 MapReduce 图解流程超详细解答(2)-【map阶段】

接上一篇讲解：http://blog.csdn.net/mrcharles/article/details/50465626有多少个reduce任务呢？一个job的ReduceTasks 的数量是通过配置mapreduce.job.reduces参数设置的一个输出元组的分割指数是多少？输出元组的分割指数指的是分区的指数。在 Map

2016-01-06 20:46:10 2465

转载 Spring 调度工具Quartz cron 表达式的格式

http://chinaxxren.iteye.com/blog/839630Quartz cron 表达式的格式十分类似于 UNIX cron 格式，但还是有少许明显的区别。区别之一就是 Quartz 的格式向下支持到秒级别的计划，而 UNIX cron 计划仅支持至分钟级。许多我们的触发计划要基于秒级递增的(例如，每45秒)，因此这是一个非常好的差异。在 UNIX

2016-01-06 18:08:38 947

转载 java.sql.SQLException: 无效的列索引

java.sql.SQLException: 无效的列索引“无效的列索引”其实是个低级的错误，原因无非几个： 1、sql串的?号数目和提供的变量数目不一致：例如：jdbcTemplate.update(sql, new Object[] {newState,oldState});如果sql里面有1个?号，Object[]送了2个，就会报错。 2、sql串里的?号书写不正

2016-01-06 16:32:06 974

原创贪嗔痴

贪贪，又称贪毒，指世人引取各种事物、名分的欲望。它使人迷醉于一切顺情的境，贪取无厌。嗔嗔，又称嗔毒，嗔恚，是指人有恚忿之心。以迷心对于一切违情之境起忿怒者，恼怒打骂伤害他人。三毒中此毒为最恶。痴痴，又称痴毒，是指人有迷暗之心。心性暗钝，迷惘于事理。或对事理颠倒，因果迷乱。也称无明。无明为十二因缘之首，为有情生死流转的根本。无明，即对世间道理及佛法义理迷

2016-01-06 12:40:39 2203 1

原创 MapReduce 图解流程超详细解答(1)-【map阶段】

在MapReduce中，一个YARN 应用被称作一个job， MapReduce 框架提供的应用，master的一个实现被称作MRAppMasterMapReduce Job的时间线MapReduce Job 运行的时间线：Map Phase:若干 Map Tasks 被执行Reduce Phase: 若干Reduce Tasks 被执行reduce

2016-01-05 22:16:43 6508

翻译 MapReduce 图解流程

Anatomy of a MapReduce JobIn MapReduce, a YARN application is called a Job. The implementation of the Application Master provided by the MapReduce framework is called MRAppMaster.Timeline

2016-01-05 10:23:02 2250 2

转载 MapReduce中combine、partition、shuffle的作用是什么

http://www.aboutyun.com/thread-8927-1-1.htmlMapreduce在hadoop中是一个比较难以的概念。下面需要用心看，然后自己就能总结出来了。概括：combine和partition都是函数，中间的步骤应该只有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在

2016-01-04 21:48:40 6997

原创 MapReduce 的类型与格式【编写最简单的mapreduce】(1)

hadoop mapreduce 中的map 和reduce 函数遵循以下的形式map: (K1, V1) → list(K2, V2)reduce: (K2, list(V2)) → list(K3, V3)可以从源代码中看出为什么是这样的类型：map: (K1, V1) → list(K2, V2)reduce: (K2, list(V2)) → list(K3,

2016-01-04 21:43:38 2286

原创 Spring MVC 返回 xml json pdf 数据的配置方法

class="org.springframework.web.servlet.view.json.MappingJacksonJsonView">

2016-01-04 20:53:36 1750

原创同一服务器不同域名session共享

Tomcat下，不同的二级域名之间或根域与子域之间，Session默认是不共享的，因为Cookie名称为JSESSIONID的Cookie根域是默认是没设置的，访问不同的二级域名，其Cookie就重新生成，而session就是根据这个Cookie来生成的，所以在不同的二级域名下生成的Session也不一样。找到了其原因，就可根据这个原因对Tomcat在生成Session时进行相应的修改(注：本

2016-01-02 09:24:30 8898

原创 CCA Spark and Hadoop 开发者认证技能点【2016只为hadoop达到巅峰】

Required Skills技能要求：Data Ingest数据消化：The skills to transfer data between external systems and your cluster. This includes the following:在外部系统和集群之间转移数据的技能，包括以下几个：Import data from a M

2016-01-01 11:09:39 2406