自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

yuan_xw的专栏

宁静致远,淡泊明志!

  • 博客(11)
  • 资源 (40)
  • 收藏
  • 关注

原创 Scala教程(十一)Curry详解与模式匹配

curry函数:curry化的函数被应用了多个参数列表,而不是仅仅一个。case class匹配: Scala的case class使得对对象进行模式匹配变得非常方便,简单的来说,Scala的case class就是在普通的类定义前加case这个关键字,然后你可以对这些类来模式匹配。

2015-09-28 17:12:50 1613

原创 Scala教程(十)函数与闭包详解

本地函数:函数式编程风格的一个重要设计原则:程序应该被解构成若干小的函数,每个完成一个定义良好的任务。单个函数经常很小。这种风格的好处是它给了程序员许多可以灵活组装成更复杂事物的建造模块。每个小块应该充分简化到足以单独理解。Scala中提供了可以把函数定义在另一个函数中。就好象本地变量那样,这种本地函数仅在包含它的代码块中可见。闭包: add函数首次调用参数值为:1,该变量在(x:Int) => x +more函数的函数体内被引用,该值赋值a。然后参数变量more从运行时的栈上被弹出来。接下来add

2015-09-24 21:17:29 6974 4

原创 Scala教程(九)正则表达式

什么是正则表达式:在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说,正则表达式就是记录文本规则的代码。正则表达式规定的一个特殊代码叫作它元字符(metacharacter)字符转义:如果你想查找元字符本身的话,比如你查找.,或者*,就出现了问题:你没办法指定它们,因为它们会被解释成别的意思。这时你就得使用\来取消这些字符的特殊意义。因此,你应该使用\.和\*。当然,要查找\本身,你也得用\\.例如:deerchao\.net匹配de

2015-09-23 17:46:21 5053

原创 Scala教程(八)文件操作

scala.io.source对象的getlines方法可以读取文件的所有行。scala中没有提供读取二进制文件的方法,需要使用Java类库,同样没有内建的对写入文件的支持,可以使用java.io.PrintWriter。

2015-09-23 17:32:12 2258

原创 Scala教程(七)package实战

定义包:Scala的代码采用了Java平台的完整的包机制,可以通过把package子句放在文件顶端的方式把整个文件内容放进包里。指定了package全文档的作用域。包对象:包对象可以包含类、对象和特征,但是不能包含函数的定义。隐式引用的包:Scala隐式地添加了一些引用到每个程序中。包的访问修饰符:package可以用访问修饰符private和protected做标记。这些修饰符把对成员的访问限制在代码确定的作用域中。

2015-09-22 16:58:47 2663

原创 Scala教程(六)类、属性和对象字段

定义类:Scala是一种纯粹的面向对象编程语言,而又无缝地结合了命令式和函数式的编程风格。在面向对象的语言有两个重要的概念:类(class)和对象(object也被称为实例—instance),其中类是对象的抽象。可以把类理解为模板,对象才是真正的实体。伴生对象:在Java或C++中即有实例方法又有静态方法。在Scala可以通过类与同名的“伴生”对象来达到同样的目的。类和它的伴生对象可以互相访问私有特性。它们必须在于同一个源文件中。scala继承(extends):子类继承父类的特征和行为,使得子类具有

2015-09-22 10:40:28 8306 1

原创 Scala教程(五)Map、Tuple、Zip实战

键/值对Map:键/值对的集合。任何值可以根据它的键进行检索。键是在映射唯一的,但值不一定是唯一的。映射也被称为哈希表。有两种类型的映射,不可变以及可变的。可变和不可变的对象之间的区别在于,当一个对象是不可变的,对象本身不能被改变。元组Tuple:tuple最主要是自动识别变量类型,遍历时从1开始,可以用空格或者点加占位符进行数据访问,截取大写字母后拼接以及获得tuple中的部分数据,不需要的用占位符代替。Zip操作:按照两个数组的序列进行匹配组成新得元素。

2015-09-21 11:15:00 1675

原创 Scala教程(四)数组进阶实战

定义数组:所谓数组,就是相同数据类型的元素按一定顺序排列的集合,就是把有限个类型相同的变量用一个名字命名,然后用编号区分他们的变量的集合,这个名字称为数组名,编号称为下标。yield关键字:yield关键字 for 循环中的 yield 会把当前的元素记下来,保存在集合中,循环结束后将返回该集合。Scala 中 for 循环是有返回值的。如果被循环的是 Map,返回的就是 Map,被循环的是 List,返回的就是 List,以此类推。定义多维数组

2015-09-21 10:26:55 2158 2

原创 Scala教程(三)数组、元组、列表

Scala教程(三)数组、元组、列表Tuple(元组)结合多个固定元素数量在一起,使它们可以被传来传去作为一个整体。不像一个数组或列表,元组可以容纳不同类型的对象。元组的访问元素的索引是从1开始,而且是不可改变的。Array(数组),一种数据结,其中存储相同类型的元素的固定大小的连续集合。数组用于存储数据的集合,但它往往是更加有用认为数组作为相同类型的变量的集合。Map是键/值对的集合。任何值可以根据它的键进行检索。键是在映射唯一的,但值不是唯一的。映射也被称为哈希表。

2015-09-20 11:55:41 3199

原创 Scala教程(二)基础语法

Scala教程(二)基础语法函数语法:定义函数:def关键字,函数名:max,括号():参数列表,:Int 表示返回结果,最外层的大括号{}:表示函数体匿名函数:不需要给每一个函数命名,正如你不需要给每个数字命名一样。以下是一个匿名函数:递归函数函数默认参数lazy关键字:使用lazy修饰一个val成员时,其赋值情况是在需要时才赋值的(byneed)因为Scala中成员与方法是等价的(除了private[this]成员)

2015-09-20 11:19:10 1661

原创 Scala教程(一)走进Scala世界

scala是运行在 Java 虚拟机 (Java Virtual Machine)之上,轻松实现和丰富的 Java类库互联互通。它既支持面向对象的编程方式,又支持函数式编程。它写出的程序像动态语言一样简洁,但事实上它确是严格意义上的静态语言。面向对象特性:Scala是一种纯面向对象的语言,每一个值都是对象。对象的数据类型以及行为由类和特征(Trait)描述。类抽象机制的扩展有两种途径。一种途径是子类继承,另一种途径是灵活的混入(Mixin)机制。这两种途径能避免多重继承的种种问题。函数式编程:Sca

2015-09-20 10:53:13 1750

kafka-demo.rar

使用java客户端, kafka-producer, kafka-consumer进行kafka的连接 注: 0.10 版本之后, 连接kafka只需要brokerip即可, 不需要zookeeper的信息

2018-01-28

CustomClassLoader源码

利用JAVA中的ClassLoader实现热部署

2017-06-28

sqoop测试数据

mysql数据库商品表、品牌和品牌分类表数据,该数据完全是个人自己创建的数据。

2016-06-01

input_data.txt

input_data.txt 用户数据

2016-03-12

Hadoop 自定义 Partitioner JAR

Hadoop 自定义 Partitioner 实现

2016-03-12

Hadoop 自定义 Partitioner 源代码

Hadoop 自定义 Partitioner 源代码

2016-03-12

Hadoop 自定义 Partitioner 实现

Hadoop 自定义 Partitioner 实现

2016-03-12

Hadoop技术内幕 深入解析Hadoop Common和HDFS架构设计与实现原理.pdf

前 言 第一部分 环境准备 第1章 源代码环境准备 1.1 什么是Hadoop 1.1.1 Hadoop简史 1.1.2 Hadoop的优势 1.1.3 Hadoop生态系统 1.2 准备源代码阅读环境 1.2.1 安装与配置JDK 1.2.2 安装Eclipse 1.2.3 安装辅助工具Ant 1.2.4 安装类UNIX Shell环境Cygwin 1.3 准备Hadoop源代码 1.3.1 下载Hadoop 1.3.2 创建Eclipse项目 1.3.3 Hadoop源代码组织 1.4 小结 第二部分 Common的实现 第2章 Hadoop配置信息处理 2.1 配置文件简介 2.1.1 Windows操作系统的配置文件 2.1.2 Java配置文件 2.2 Hadoop Configuration详解 2.2.1 Hadoop配置文件的格式 2.2.2 Configuration的成员变量 2.2.3 资源加载 2.2.4 使用get*和set*访问设置配置项 2.3 Configurable接口 2.4 小结 第3章 序列化与压缩 3.1 序列化 3.1.1 Java内建序列化机制 3.1.2 Hadoop序列化机制 3.1.3 Hadoop序列化机制的特征 3.1.4 Hadoop Writable机制 3.1.5 典型的Writable类详解 3.1.6 Hadoop序列化框架 3.2 压缩 3.2.1 Hadoop压缩简介 3.2.2 Hadoop压缩API应用实例 3.2.3 Hadoop压缩框架 3.2.4 Java本地方法 3.2.5 支持Snappy压缩 3.3 小结 第4章 Hadoop远程过程调用 4.1 远程过程调用基础知识 4.1.1 RPC原理 4.1.2 RPC机制的实现 4.1.3 Java远程方法调用 4.2 Java动态代理 4.2.1 创建代理接口 4.2.2 调用转发 4.2.3 动态代理实例 4.3 Java NIO 4.3.1 Java基本套接字 4.3.2 Java NIO基础 4.3.3 Java NIO实例:回显服务器 4.4 Hadoop中的远程过程调用 4.4.1 利用Hadoop IPC构建简单的分布式系统 4.4.2 Hadoop IPC的代码结构 4.5 Hadoop IPC连接相关过程 4.5.1 IPC连接成员变量 4.5.2 建立IPC连接 4.5.3 数据分帧和读写 4.5.4 维护IPC连接 4.5.5 关闭IPC连接 4.6 Hadoop IPC方法调用相关过程 4.6.1 Java接口与接口体 4.6.2 IPC方法调用成员变量 4.6.3 客户端方法调用过程 4.6.4 服务器端方法调用过程 4.7 Hadoop IPC上的其他辅助过程 4.7.1 RPC.getProxy()和RPC.stopProxy() 4.7.2 RPC.getServer()和Server的启停 4.8 小结 第5章 Hadoop文件系统 5.1 文件系统 5.1.1 文件系统的用户界面 5.1.2 文件系统的实现 5.1.3 文件系统的保护控制 5.2 Linux文件系统 5.2.1 Linux本地文件系统 5.2.2 虚拟文件系统 5.2.3 Linux文件保护机制 5.2.4 Linux文件系统API 5.3 分布式文件系统 5.3.1 分布式文件系统的特性 5.3.2 基本NFS体系结构 5.3.3 NFS支持的文件操作 5.4 Java文件系统 5.4.1 Java文件系统API 5.4.2 URI和URL 5.4.3 Java输入输出流 5.4.4 随机存取文件 5.5 Hadoop抽象文件系统 5.5.1 Hadoop文件系统API 5.5.2 Hadoop输入输出流 5.5.3 Hadoop文件系统中的权限 5.5.4 抽象文件系统中的静态方法 5.5.5 Hadoop文件系统中的协议处理器 5.6 Hadoop具体文件系统 5.6.1 FileSystem层次结构 5.6.2 RawLocalFileSystem的实现 5.6.3 ChecksumFileSystem的实现 5.6.4 RawInMemoryFileSystem的实现 5.7 小结 第三部分 Hadoop分布式文件系统 第6章 HDFS概述 6.1 初识HDFS 6.1.1 HDFS主要特性 6.1.2 HDFS体系结构 6.1.3 HDFS源代码结构 6.2 基于远程过程调用的接口 6.2.1 与客户端相关的接口 6.2.2 HDFS各服务器间的接口 6.3 非远程过程调用接口 6.3.1 数据节点上的非IPC接口 6.3.2 名字节点和第二名字节点上的非IPC接口 6.4 HDFS主要流程 6.4.1 客户端到名字节点的文件与目录操作 6.4.2 客户端读文件 6.4.3 客户端写文件 6.4.4 数据节点的启动和心跳 6.4.5 第二名字节点合并元数据 6.5 小结 第7章 数据节点实现 7.1 数据块存储 7.1.1 数据节点的磁盘目录文件结构 7.1.2 数据节点存储的实现 7.1.3 数据节点升级 7.1.4 文件系统数据集的工作机制 7.2 流式接口的实现 7.2.1 DataXceiverServer和DataXceiver 7.2.2 读数据 7.2.3 写数据 7.2.4 数据块替换、数据块拷贝和读数据块检验信息 7.3 作为整体的数据节点 7.3.1 数据节点和名字节点的交互 7.3.2 数据块扫描器 7.3.3 数据节点的启停 7.4 小结 第8章 名字节点实现 8.1 文件系统的目录树 8.1.1 从i-node到INode 8.1.2 命名空间镜像和编辑日志 8.1.3 第二名字节点 8.1.4 FSDirectory的实现 8.2 数据块和数据节点管理 8.2.1 数据结构 8.2.2 数据节点管理 8.2.3 数据块管理 8.3 远程接口ClientProtocol的实现 8.3.1 文件和目录相关事务 8.3.2 读数据使用的方法 8.3.3 写数据使用的方法 8.3.4 工具dfsadmin依赖的方法 8.4 名字节点的启动和停止 8.4.1 安全模式 8.4.2 名字节点的启动 8.4.3 名字节点的停止 8.5 小结 第9章 HDFS客户端 9.1 认识DFSClient 9.1.1 DFSClient的构造和关闭 9.1.2 文件和目录、系统管理相关事务 9.1.3 删除HDFS文件目录的流程 9.2 输入流 9.2.1 读数据前的准备:打开文件 9.2.2 读数据 9.2.3 关闭输入流 9.2.4 读取HDFS文件数据的流程 9.3 输出流 9.3.1 写数据前的准备:创建文件 9.3.2 写数据:数据流管道的建立 9.3.3 写数据:数据包的发送 9.3.4 写数据:数据流管道出错处理 9.3.5 写数据:租约更新 9.3.6 写数据:DFSOutputStream.sync()的作用 9.3.7 关闭输出流 9.3.8 向HDFS文件写入数据的流程 9.4 DistributedFileSystem的实现 9.5 HDFS常用工具 9.5.1 FsShell 9.5.2 DFSAdmin 9.6 小结

2015-11-24

快学Scala.pdf

Scala是一门以Java虚拟机(JVM)为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言。你可以使用Scala编写出更加精简的程序,同时充分利用并发的威力。由于Scala运行于JVM之上,因此它可以访问任何Java类库并且与Java框架进行互操作。本书从实用角度出发,给出了一份快速的、基于代码的入门指南。Horstmann以“博客文章大小”的篇幅介绍了Scala的概念,让你可以快速地掌握和应用。实际上手的操作,清晰定义的能力层次,从初级到专家级,全程指导。 《快学Scala》适合有一定的Java编程经验、对Scala感兴趣,并希望尽快掌握Scala核心概念和用法的开

2015-11-12

精通正则表达式(第三版)简体中文.pdf

《精通正则表达式(第3版)》主要讲解了正则表达式的特性和流派、匹配原理、优化原则、实用诀窍以及调校措施,并详细介绍了在Perl、Java、.NET、PHP中正则表达式的用法。

2015-09-23

jdbc连接数据库

该项目是在以为mysql数据库为例,以java程序实现连接数据库数!

2013-09-13

Junit-4.11.jar

使用JUnit,主要都是通过继承TestCase类别来撰写测试用例,使用testXXX()名称来撰写单元测试。 * JUnit可以大量减少Java代码中程序错误的个数,JUnit是一种流行的单元测试框架,用于在发布代码之前对其进行单元测试。

2013-09-13

mysql_jdbc驱动

mysql驱动(mysql-connector-java-3.1.12-bin.jar)用于Java程序连接mysql数据库

2013-09-13

jquery.EasyUI-1.3.1手册 API.chm

jQuery EasyUI是一组基于jQuery的UI插件集合,而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面。开发者不需要编写复杂的javascript,也不需要对css样式有深入的了解,开发者需要了解的只有一些简单的html标签。

2013-07-12

jquery.EasyUI-1.2.4中文手册.chm

jQuery EasyUI是一组基于jQuery的UI插件集合,而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面。开发者不需要编写复杂的javascript,也不需要对css样式有深入的了解,开发者需要了解的只有一些简单的html标签。

2013-07-12

Java网络Socket编程

Socket的概念: i. 两个Java应用程序可通过一个双向的网络通信的连接实现数据交互,这个双向链接的一端称为一个Socket。 ii. Socket通常用实现client-server连接。 iii. Java.net包中定义了两个类Socket和ServerSocket,分别用来实现双向连接的client和server端 iv. 建立组件连接时所需要的寻址信息为远程计算机的IP地址和端口号(Port number)

2013-07-12

Oracle经典教程.pdf

第一部分:走进Oracle;第二部分:SQL数据操作和查询;第三部分:子查询和常用函数;第四部分:表空间、数据库对象;第五部分:PL/SQL程序设计;第六部分:Oracle应用于.Net平台;第七部分:数据库导入导出;

2012-09-07

tcpmon.jar

Tcpmon作为apache的一个独立项目,我们可以通过tcpmon来查看用户访问网站的http交互过程及传输内容,当然对于基于http协议的SOAP客户端和SOAP服务端之间的传递的XML也可以方便查看了,包含request和response 为了使用这个程序,你需要指定一个本地端口,TCPmon会用这个端口来侦听进来的链接,目标主机就是tcpmon将侦听到的链接转接到的地方,目标端口就是链接到目标主机的通道(端口),比如,可以发送到 www.baidu.com :80.Windows下运行tcpmon.bat,就可以看到视窗界面了选中admin 的选项卡中,在监听端口中输入想要监听的端口,点击 添加,界面中可以看到三个 输入框:侦听端口,目标主机, 目标端口.点击stop,就可以修改输入框的值.

2012-07-22

SVN客户端使用简要教程

1、 安装SVN-Client端程序。 下载地址:https://218.107.242.90:9374/svn/jnzl/tools/svn-client.msi 注:输入您的帐号和密码,即可进行登录下载。 2、 安装后,创建一个新目录,在新目录下点击右键,在弹出的菜单中选择SVN Checkout,如右图所示: 3、 在弹出的窗口中,在URL of repository中输入SVN服务器的地址信息: https://218.107.242.90:9374/svn/jnzl/ ,如下图所示: 输入完毕后点击OK按钮即可。

2011-10-19

Ant介绍.doc Ant是什么?

Ant是什么?如何开始使用Ant?Ant 的基本概念 构建脚本 构建脚本的命名 Ant的路径模式? Ant任务

2011-07-12

apacheant-1.6.5-bin.zip

Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发。由Apache软件基金会所提供。

2011-07-12

jquery-1.4.2.js

jquery-1.4.2.js里的代码是没有进行处理的原代码,适合于人们阅读与研究.

2011-07-11

Ruby语言入门教程

松本行弘(Matz)是日本一家开源软件公司的程序员,有15年的编程经验。在 工作中,他希望有一种比Perl强大,比Python更面向对象的语言。

2011-06-22

Spring环境搭建

Spring环境搭建 1、 spring依赖库 a) SPRING_HOME/dist/spring.jar b) SPRING_HOME/lib/Jakarta-commons/commons-loggin.jar c) SPRING_HOME/lib/log4j/log4j-1.2.14.jar

2011-06-21

Struts2.chm

Struts 2 Core 2.0.6 API

2011-06-21

正则表达式教程.CHM

正则表达式是烦琐的,但是强大的,学会之后的应用会让你除了提高效率外,会给你带来绝对的成就感。只要认真去阅读这些资料,加上应用的时候进行一定的参考,掌握正则表达式不是问题。

2011-06-21

javascript10.chm

简介:本软件为Javascript共享教学软件,包含各种Javascript源码及演示,力求丰富易懂。 本软件1.0版本为免费版本,你可以免费使用,自由传播,但请保留其版权。 本软件制作格式:CHM,支持全文检索,可以运行在所有windows操作系统。

2011-06-21

POI API Documentation

POI API Documentation

2011-06-21

jQuery,jQueryAPI

JQUERY优秀的JS框架,很好些的代码,稳定,速度快。你下来看看就知道了

2011-05-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除