2015年06月_XiaoGuang-Xu

转载深入Jetty源码之ServletHandler

时间 2014-05-17 23:15:41 BlogJava-技术区原文 http://www.blogjava.net/DLevin/archive/2014/05/17/413788.html主题 Servlet概述ServletHandler继承自ScopedHandler，是Jetty中用于存储所有Filter、FilterMapping、Servle

2015-06-27 15:47:30 813

转载 Kafka设计解析：Replication工具

Kafka设计解析：Replication工具博客地址：http://www.iteblog.com/文章标题：《Kafka设计解析：Replication工具》本文链接：http://www.iteblog.com/archives/1384Hadoop、Hive、Hbase、Flume等QQ交流群：138615359（已满），请加入新群：149892483本博客的微信公共帐

2015-06-24 16:12:18 801 3

转载 Spark集群部署

Spark集群部署http://blog.csdn.net/zhxue123/article/details/19199859 Spark集群部署1. 安装环境简介硬件环境：两台四核cpu、4G内存、500G硬盘的虚拟机。软件环境：64为Ubuntu12.04 LTS；主机名分别为spark1、spar

2015-06-24 15:42:50 859

转载 Eclipse配置C/C++开发环境

参考URL:http://www.eclipse.org/cdt/downloads.phphttp://www.eclipse.org/cdt/downloads.phphttp://blog.csdn.net/hujingn/article/details/5849516http://sourceforge.net/projects/ming

2015-06-24 09:03:28 421

转载《Scala by Example》

《Scala by Example》第10章 For-循环《Scala by Example》第11章变化的状态《Scala by Example》第9章 Lists 《Scala by Example》第8章泛型类型和方法《Scala by Example》第7章样本类和模式匹配

2015-06-23 19:09:15 666

转载为Java程序员编写的Scala的入门教程

博客地址：http://www.iteblog.com/文章标题：《为Java程序员编写的Scala的入门教程》本文链接：http://www.iteblog.com/archives/1325Hadoop、Hive、Hbase、Flume等QQ交流群：138615359（已满），请加入新群：149892483本博客的微信公共帐号为：iteblog_hadoop，欢迎大家关注。如

2015-06-23 18:58:11 930

转载 scala入门

有必要把scala的入门记录下来。 http://www.cnblogs.com/nod0620/articles/2236312.htmlscala几要素：1.immutable，scala可以创建immutable的对象，这样在并发编程中，可以不需要使用同步，可以不适用互斥。2.FP，可以提高代码的简洁度和提高编码的效率，有时候编码也更加简单。3.基于JVM，编译成Byte

2015-06-21 12:12:41 436

转载 Scala 入门——Eclipse开发环境搭建

Scala 入门——Eclipse开发环境搭建由于深入学习的需要，最近开始学习Scala这门艺术性的编程语言。Scala：一种类似java的编程。集成了面向对象（Object-Oriented）编程和函数式（Functional programming ）编程的特性，利于开发多核并发模型以及云计算（parallelism for mulicore and c

2015-06-21 12:10:14 622

转载实践部署与使用apache kafka框架技术博文资料汇总

实践部署与使用apache kafka框架技术博文资料汇总http://blog.csdn.net/zhongwen7710/article/details/41252649前一篇Kafka框架设计来自英文原文（Kafka Architecture Design）的翻译及整理文章，很有借鉴性，本文是从一个企业使用Kafka框架的角度来记录及整理的Kafka框架的技术资料，也很有

2015-06-19 14:53:12 2296

转载 windows7+eclipse+hadoop2.5.2环境配置

windows7+eclipse+hadoop2.5.2环境配置 http://www.cnblogs.com/huligong1234/p/4137133.html一.hadoop集群环境配置参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html）

2015-06-19 09:35:44 598

转载 Spring注解

1注解编辑在使用Spring框架中@Autowired标签时默认情况下使用 @Autowired 注释进行自动注入时，Spring 容器中匹配的候选 Bean 数目必须有且仅有一个。当找不到一个匹配的 Bean 时，Spring 容器将抛BeanCreationException 异常，并指出必须至少拥有一个匹配的 Bean。Spring 允许我们通过 @Qualifier 注释指

2015-06-17 17:11:29 439

转载 ExecutorService常用方法和newFixedThreadPool创建固定大小的线程池

ExecutorService常用方法和newFixedThreadPool创建固定大小的线程池http://www.itzhai.com/the-executorservice-common-method-newfixedthreadpool-of-create-fixed-size-thread-pool.html 1、ExecutorService：2、Executor：

2015-06-17 15:59:00 815

转载 Kafka 之中级

1. 配置Ø Broker主要配置参数默认值说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log

2015-06-16 21:13:22 561

原创 Hive内置函数的应用案例

1：计算两个时间相差多少天：hive内置函数datediff 例子Demo：datediff('2009-07-28','2009-07-30')=22:也可以写自定义函数package cdel.edu.hive.udf.demo04;import java.text.ParseException;import java.text.SimpleDateFormat;

2015-06-11 11:44:47 636

转载 Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入

Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表需求将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。设计涉及的三张表：全量表：保存了截止上一次同步时间的全量基础数据表增量表：增量临时表更新后的全量表：更新后的全量数据表步骤：通过Sqoop将Ora

2015-06-11 11:36:58 1133

转载 hadoop实例---多表关联

hadoop实例---多表关联多表关联和单表关联类似，它也是通过对原始数据进行一定的处理，从其中挖掘出关心的信息。如下输入的是两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系，输出工厂名-地址名表样本如下：factory:factoryname addressedBeiji

2015-06-09 17:29:05 535

转载 MapReduce实现单表关联

例如给出表child-parent表，要求输出grandchildren-grandparent表给出：child parentTom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack Jesse 输出：Tom AliceTom JesseJone Alice

2015-06-09 17:25:41 481

转载 Hive lateral view语句(翻译自Hive wiki)

hive lateral view语句(翻译自Hive wiki)http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842938.htmlLateral View语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (','

2015-06-09 14:47:02 480

原创 Hive—Hbase—Sqoop—Mysql

1:创建Hive 和hBase 关系表use order; CREATE TABLE tmp_member_info_new_mysql(memberkey string, memberid string,uid string,email string, fullname string,sex string, birthday string,pr

2015-06-09 12:11:58 559

原创 Hive学习笔记02.txt

1:表的重命名alter table log_message rename to logmsgs;2:新增加表分区alter table log_message add if not existsPARTITION (year='2013',month='10',day='11') LOCATION '/user/hadoop/warehouse/table_name';

2015-06-09 12:11:48 497

转载数据挖掘10大算法(1)-支持向量机(SVM)（一）

最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。一、什么是支持向量机(SVM)?1、支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。支持向量机属于一般化线性分类器，这族分类器的特点是他们能够同时最小化经验误差与最大化几何边

2015-06-09 11:59:49 925

转载数据挖掘算法以及其实现zz

数据挖掘算法以及其实现zz实验一分类技术及其应用实习要求：基于线性回归模型拟合一个班学生的学习成绩，建立预测模型。数据可由自己建立100个学生的学习成绩。1）算法思想：最小二乘法设经验方程是y=F(x)，方程中含有一些待定系数an，给出真实值{(xi,yi)|i=1,2,...n},将这些x,y值代入方程然后作差，可以描述误差：yi-F(

2015-06-09 11:48:02 651

转载数据挖掘分类算法之决策树（zz）

数据挖掘分类算法之决策树（zz）决策树（Decision tree）决策树是以实例为基础的归纳学习算法。它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，叶结点是要学习划分的类。从根到叶结点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表

2015-06-09 11:15:32 1254

转载深入浅出谈数据挖掘zz

深入浅出谈数据挖掘zzhttp://www.cnblogs.com/end/p/3328388.html编者的话：本文对数据挖掘概念的产生，数据挖掘与常规数据分析的主要区别，所能解决的几大类问题和所应用的领域都有着非常清晰的论述。作者在此篇文章中认为数据挖掘最重要的要素是分析人员的相关业务知识和思维模式。丰富的业务知识是设计有效的相关变量的必要条件，而分析人员的

2015-06-09 11:11:46 744

转载决策树

策树法(Decision Tree）[编辑]什么是决策树？　　决策树(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。　　决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。　　　　选择分割的方法有好几种，但是目的都

2015-06-09 10:45:41 1037

转载数据挖掘10大算法(6)--K近邻算法

数据挖掘10大算法(6)--K近邻算法http://blog.csdn.net/u011067360/article/details/23941577k-近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。一、基于实例的学习。1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样

2015-06-09 10:35:32 653

转载数据挖掘10大算法(6)-K最近邻(KNN)算法的实现（java和python版）

数据挖掘-K最近邻(KNN)算法的实现（java和python版）KNN算法基础思想前面文章可以参考，这里主要讲解java和python的两种简单实现，也主要是理解简单的思想。http://blog.csdn.net/u011067360/article/details/23941577python版本：这里实现一个手写识别算法，这里只简单识别0~9熟悉，在

2015-06-09 10:26:31 981

转载数据挖掘10大算法(8)--CART: 分类与回归树

数据挖掘十大经典算法--CART: 分类与回归树http://www.dataguru.cn/article-4720-1.html数据挖掘十大经典算法--CART: 分类与回归树摘要: 一、决策树的类型在数据挖掘中，决策树主要有两种类型:分类树的输出是样本的类标。回归树的输出是一个实数 (例如房子的价格，病人呆在医院的时间等)。

2015-06-09 10:21:11 632

转载树形结构的数据库表Schema设计

树形结构的数据库表Schema设计http://blog.csdn.net/monkey_d_meng/article/details/6647488#comments

2015-06-08 15:51:01 470

转载深入探讨PageRank

深入探讨PageRank（一）：PageRank算法原理入门http://blog.csdn.net/monkey_d_meng/article/details/6554518深入探讨PageRank（二）：PageRank原理剖析http://blog.csdn.net/monkey_d_meng/article/details/6556295深入探讨

2015-06-08 14:58:12 759

转载数据挖掘10大算法(3)——PageRank

数据挖掘10大算法(1)——PageRank1. 前言这系列的文章主要讲述2006年评出的数据挖掘10大算法（见图1）。文章的重点将偏向于算法的来源以及算法的主要思想，不涉及具体的实现。如果发现文中有错，希望各位指出来，一起讨论。图1 来自IDMer的文

2015-06-08 14:53:08 527

转载 Kafka+Spark Streaming+Redis实时系统实践

Kafka+Spark Streaming+Redis实时系统实践 http://www.iteblog.com/archives/1378炼数成金-Spark大数据平台视频百度网盘免费下载http://www.iteblog.com/archives/1295

2015-06-08 10:10:28 707

转载 Kafka+Spark Streaming+Redis实时系统实践

2015-06-08 10:08:11 421

转载 Kafka+Spark Streaming+Redis实时系统实践

2015-06-08 10:06:46 470

转载 Kafka+Spark Streaming+Redis实时系统实践

2015-06-08 10:01:56 981

转载 PageRank算法R语言实现

PageRank算法R语言实现算法为王系列文章，涵盖了计算机算法，数据挖掘(机器学习)算法，统计算法，金融算法等的多种跨学科算法组合。在大数据时代的背景下，算法已经成为了金字塔顶的明星。一个好的算法可以创造一个伟大帝国，就像Google。算法为王的时代正式到来….关于作者：张丹(Conan), 程序员Java,R,PHP,Javascriptweibo：@C

2015-06-08 09:27:27 889

Struts2 + Spring + ibatis

SSH整合分页Demo入门

ajax源代码

EXt 学习API

java面试题

空空如也