- 博客(196)
- 资源 (8)
- 收藏
- 关注
原创 网络字节码、本地字节码(大端,小端)
大端模式和小端模式的起源关于大端小端名词的由来,有一个有趣的故事,来自于Jonathan Swift的《格利佛游记》:Lilliput和Blefuscu这两个强国在过去的36个月中一直在苦战。战争的原因:大家都知道,吃鸡蛋的时候,原始 的方法是打破鸡蛋较大的一端,可以那时的皇帝的祖父由于小时侯吃鸡蛋,按这种方法把手指弄破了,因此他的父亲,就下令,命令所有的子民吃鸡蛋的时候,必须 先打破鸡蛋较小的一端
2016-04-21 19:45:44 2630 1
原创 java中的char和boolean
在java中,基本类型的占用字节数,大家都不是很陌生,由于java程序都是运行在JVM上的,所以java中的类型字节位数不会受平台的限制。java中各种类型占位如下: Tables Are int 32bit short 16bit long 64bit byte 8bit char 16bit float 32bit double 64
2016-04-21 16:43:08 3089
原创 设计模式之适配器模式
适配器模式(adapter)定义 适配器模式将一个类的接口转换成客户期望的另一个接口,让原本不兼容的接口可以合作无间。《Head First 设计模式》 用电器做例子,笔记本电脑的插头一般都是三相的,即除了阳极、阴极外,还有一个地极。而有些地方的电源插座却只有两极,没有地极。电源插座与笔记本电脑的电源插头不匹配使得笔记本电脑无法使用。这时候一个三相到两相的转换器(适配器)就能解决此问题,而这正像
2016-04-21 14:50:28 1302 3
原创 设计模式之观察者模式(Observer)
观察者模式观察者模式是在一个实体类上面,建立多个观察者,观察者同时监听实体类,当实体类状态发生变化的时候,观察者能够根据实体的变化相应的做出变化。 观察者(Observer)模式又名发布-订阅(Publish/Subscribe)模式。GOF给观察者模式如下定义:定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。观察者模式组成 1、抽象目标角
2016-04-21 10:42:57 554
原创 设计模式之代理模式
代理模式代理模式综述代理模式使用大力对象完成用户请求,屏蔽用户对真实对象的访问。在现实世界中,代理人被授权执行当事人的一些决定而无需当事人出面,从第三方的角度来看,似乎当事人是不存在的一样,因为他只和代理人进行了通信。而事实上,在代理人与第三方通信之前,必须获取当事人的授权并且在核心问题上还要请求当事人。代理模式角色代理模式的角色分为下面4种:主题接口:定义代理类和真实主题的公共对外方法,也是代理
2016-04-21 08:57:17 468
原创 装饰者模式
设计模式之装饰者模式装饰者模式应用在java的IO中是非常频繁的,其属于结构型模式。该模式主要是通过动态扩展包装对象来实现的。下面通过一个简单的示例来进行说明。简单示例说有一男的(高富帅,会编码,呵呵……)相交一个女朋友,但是选择是太多了,女孩们有来自亚洲、非洲、美洲,有的会唱歌,有的会跳舞,还有的会说话等等吧,于是这个男的就在想,我如果给每个女生都创建一个java类的话,那么我得创建成千上万个类啊
2016-04-20 17:28:54 476
原创 设计模式之工厂模式
工厂模式分类 工厂模式是重要的设计模式之一,主要分为三类:简单工厂模式,抽象工厂模式,工厂方法模式,其实简单工厂模式是工厂方法模式的一种特例,所以也可以分为两类。工厂模式组成 工厂类:这是本模式的核心,含有一定的商业逻辑和判断逻辑。在java中它往往由一个具体类实现。 抽象产品角色:它一般是具体产品继承的父类或者实现的接口。在java中由
2016-04-20 16:32:00 1393 4
原创 设计模式之单例模式
设计模式是系统设计过程中,必须要考虑到的内容,设计模式总共包含23种,分为三类,分别是创建者模式,结构型模式和行为模式,本系列文章将详细介绍各个设计模式以及应用场景,加深笔者记忆。闲话少续,正式开始单例模式特点单例模式的类只能自己创建自己的实例,并且只能创建一个实例,同时要想其他对象提供本实例。单例模式应用范围单例模式多应用在资源管理的业务场景中,可以避免状态的不一致,例如在计
2016-04-20 15:31:31 438
转载 linux常用命令
转载自 linux常用命令 catchattrchgrpc hmodchowncksumcmpdiffdiffstatfilefindgitgitviewi
2016-03-23 10:08:01 560
转载 cookie详解
转载自http://www.admin10000.com/document/294.html背景 在HTTP协议的定义中,采用了一种机制来记录客户端和服务器端交互的信息,这种机制被称为cookie,cookie规范定义了服务器和客户端交互信息的格式、生存期、使用范围、安全性。 Cookie格式 Cookie中保存的信息都是文本信息,在客户端和服务器端交互过程中,
2016-03-17 22:34:32 528
转载 session和cookie的区别
转载自http://www.admin10000.com/document/1034.html一、cookie机制和session机制的区别 具体来说cookie机制采用的是在客户端保持状态的方案,而session机制采用的是在服务器端保持状态的方案。 同时我们也看到,由于才服务器端保持状态的方案在客户端也需要保存一个标识,所以session 机制可能
2016-03-17 22:32:54 675
转载 Servlet 工作原理解析
转载自:http://www.ibm.com/developerworks/cn/java/j-lo-servlet/点击打开链接Servlet 工作原理解析Web 技术成为当今主流的互联网 Web 应用技术之一,而 Servlet 是 Java Web技术的核心基础。因而掌握 Servlet 的工作原理是成为一名合格的 Java Web 技术开发人员的基本要求。本文将带你认识 J
2016-03-17 17:18:15 622
转载 JBoss Web和 Tomcat的区别
转载于:http://www.verydemo.com/demo_c202_i780.htmlJBoss Web和 Tomcat的区别 在Web2.0的浪潮中,各种页面技术和框架不断涌现,为服务器端的基础架构提出了更高的稳定性和可扩展性的要求。近年来,作为开源中间件的全 球领导者,JBoss在J2EE应用服务器领域已成为发展最为迅速的应用服务器。在市场占有率和服务
2016-03-16 11:35:38 862
原创 Spark 执行过程以及相应概念解释
相关概念Client:客户端进程,负责提交作业到Master。Master:Standalone模式中主控节点,负责接收Client提交的作业,管理Worker,并命令Worker启动Driver和Executor。Worker:Standalone模式中slave节点上的守护进程,负责管理本节点的资源,定期向Master汇报心跳,接收Master的命令,启动Drive
2016-02-24 15:21:37 2678
原创 elasticsearch节点不能自动进入集群
在新版2.0以后,elasticsearch的节点不能很好的根据集群名称自动进入集群,碰到这种情况要在es的配置文件,配置discovery项,下面有两项分别是指定host可能的IP和集群中可能成为master的最小的节点个数,配置了这两项,可以很好的解决问题
2015-12-24 11:27:54 4828
原创 Spark程序编写过程中的常见问题
1、使用IDEA 或者是 eclipse IDE来编写程序时,关于导包的问题。在这些IDE过程中,如果网络可以的话,建议选择maven或者是sbt的模式,但是如果网络很差的话,还是老老实实的把我们需要的包导入吧,编写spark程序时,需要导入的 包,只有一个,那就是spark-assembly-1.4.0-hadoop2.6.0.jar,只要是assembly类型的集成包就行,一般都会满足你的
2015-09-23 15:46:12 2168
原创 scala中的构造器
在scala中除了对象(object)以外,其他的单位例如,类,特质等都有构造器,在这么多种的构造器中,在程序执行的过程中,构造器也有其特定的执行过程,具体的执行顺序如下:1、首先调用超类的构造器2、特质构造器在超类构造器之后,类构造器之前执行3、特质构造器由左到右被构造4、在每个特质构造器中,父构造器先于子构造器被构造5、如果有多个特质共有一个父特质,那么这个父特质构造器一旦
2015-09-14 11:02:31 1005
原创 可视化算法网站
这是一个可视化的算法和数据结构的学习网站,推荐给大家,同时也标注一下。。http://www.cs.usfca.edu/~galles/visualization/source.html
2015-09-13 21:04:12 974
转载 parquet原理分析
文章转载自这里 http://lastorder.me/tag/parquet.html[翻译] Dremel made simple with ParquetCategory: DremelhadoopHDFSParquetTwitter分析列式存储存储首先自己的 blog好久没有写技术相关的东西了,今天又动笔了,好高兴!然后转载请
2015-09-11 14:35:12 3754
转载 语言分类
语言根据其不同方面的特性,具体可以分为编译型、解释型,动态语言和静态语言,强类型语言和弱类型语言,每个分类具体的分类原则如下:点击打开链接编译型和解释型编译型,其实它与汇编语言是一样的:也是有一个负责翻译的程序来对我们的源代码进行转换,生成相对应的可执行代码。这个过程就称为编译(Compile),而负责编译的程序自然就称为编译器(Compiler)。如果我们写的程序代码都包含在
2015-08-24 14:40:37 479
转载 Java 理论与实践: 正确使用 Volatile 变量
Java 理论与实践: 正确使用 Volatile 变量(点击查看原文)volatile 变量使用指南 Java™ 语言包含两种内在的同步机制:同步块(或方法)和 volatile 变量。这两种机制的提出都是为了实现代码线程的安全性。其中 Volatile 变量的同步性较差(但有时它更简单并且开销更低),而且其使用也更容易出错。在这期的Java 理论与实践 中,Brian Go
2015-07-26 16:23:29 319
翻译 spark中stream编程指导(二)
这篇文章还是接着(一)中的继续,主要阐述一下spark中定义的几种不同类型的数据源, 以及在spark流式的程序中如何应用基本数据源(basic sources)Basic SourcesWe have already taken a look at thessc.socketTextStream(...) in the quick examplewhich create
2015-07-18 20:58:21 1196
翻译 spark中stream编程指导(一)
spark stream是对spark核心api的扩展,其有着很好的扩展性,很高的吞吐量以及容错性的动态数据的流式处理过程。数据可以来自不同的数据源,例如Kafka, Flume, Twitter, ZeroMQ, Kinesis, or TCP sockets,一些具有高级功能的复杂的算法,例如map,reduce, join and window,可以使用这些算法来进行数据的处理。最终,将
2015-07-17 19:45:29 2071
原创 spark提交命令详解
本片文章主要结合官网的提交说明进行,详情请看http://spark.apache.org/docs/latest/submitting-applications.html./bin/spark-submit \ --class --master \ --deploy-mode \ --conf = \ ... # other options \ [appl
2015-07-16 16:05:58 7785
原创 spark启动时 问题
我的spark是搭建在hadoop上面的,启动hadoop以后,接着启动spark的时候,会在启动命令行提示一下信息,spark2: failed to launch org.apache.spark.deploy.worker.Worker:最后分析可知,是由于没有打开spark的7077端口的原因,解决方案:关闭spark服务,在所有节点运行打开端口操作,具体命令如下所示:
2015-07-16 15:27:10 2449
转载 hadoop快速搭建(参考)
在搭建的时候主要参考这篇博文,感觉写的还是比较详细;但是在多次格式化hdfs过后,集群可能出现数据节点不能正常启动的情况,这个主要是由于data和system目录下的current文件夹中的version文件的版本号不一致所导致的,可以手动将其改正;也可以将其直接删除,然后直接格式化一次,在直接生成即可。在hadoop配置文件 的时候,可以多参考其他的文章。标签:原创作品,允许转载,转载时
2015-07-16 15:11:06 616
转载 spark1——RDD深入理解
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语,使用户不用操心任务分发和错误容忍,非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持,使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景:Ø 迭代式算法:迭代式机器学习、图...
2015-07-07 09:44:03 2428
原创 java中的list排序问题
java中的list排序问题 是一个比较常见的问题,在java8中又添加了stream集合类型,使得这个排序更加的丰富,下面我们一起来看一下一下三种list排序://传统的list排序public static void listSort() { List list =createTestList(); long t0 = System.nanoTime(); Collection
2015-06-17 17:19:24 1152
转载 ElasticSearch中aggregation的作用域
转载自http://blog.csdn.net/dm_vincent/article/details/42695339到现在给出的聚合例子中,你可能已经发现了在搜索请求中我们省略了query子句。整个请求只是一个简单的聚合。聚合可以和搜索请求一起运行,但是你需要理解一个新概念:作用域(Scope)。默认情况下,聚合和查询使用相同的作用域。换句话说,聚合作于匹配了查询的文档集。
2015-06-17 17:17:28 884
转载 ElasticSearch中的bucket容器
文章来源于 http://blog.csdn.net/dm_vincent/article/details/42387161和查询DSL一样,聚合(Aggregations)也拥有一种可组合(Composable)的语法:独立的功能单元可以被混合在一起来满足你的需求。这意味着需要学习的基本概念虽然不多,但是它们的组合方式是几近无穷的。为了掌握聚合,你只需要了解两个主要概念:
2015-06-17 11:22:50 1808
原创 ElasticSearch读取查询结果(search)
在es中所有的查询结果都会保存在SearchResponse中,在从SearchResponse中读取数据的时候,有两种方式:第一种是对Query的结果进行读取,使用的是hit,每一条查询到的doc都是一个hit,可以将每个hit转换为map形式的数据,map的具体形式为的形式,可以得到每一个字段的名称与内容(具体代码如下);public static List getSC(Searc
2015-06-17 11:11:52 10655
原创 ElasticSearch中json字符串的拼接
在ES中,所有的查询结果信息,包括doc,都是以json的形式返回的。在es中,提供了拼接json的特定接口,主要分为两种形式。1、在新建索引的时候,需要指定索引的字段以及字段的属性,这个时候可以借助于json,具体代码如下:XContentBuilder mapping = jsonBuilder().startObject() .startObject("proper
2015-06-17 11:10:35 6007
原创 ElasticSearch删除记录
在es中删除记录时,主要是调用prepareDelete这个方法,该方法有多少种重载方式,还有诸多的变形,下面主要给出两个例子,以供参考。Example 1 : DeleteResponse response = client .prepareDelete("product", "wxt", "AU3Tl15KdYkxDVIhA8KD")
2015-06-17 11:08:56 7585
原创 ElasticSearch插入数据
插入数据代码如下所示:public static void buildBulkIndex(List products) throws IOException { Client client = ElasticSearchClient.getClient(); BulkRequestBuilder bulkRequest = client.prepareBulk();
2015-06-17 11:05:46 10779 1
robot mongo操作手册
2018-03-16
Python网络数据收集
2017-01-12
Architectural Styles and the Design of Network-based Software Architectures
2016-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人