- 博客(10)
- 资源 (129)
- 收藏
- 关注
原创 前后端分离项目的技术与框架通用方案
摘要:本文是关于前后端分离项目的技术与框架选型通用方案,是一个比较成熟的方案。目前大部分公司也是采用这个体系。
2017-03-28 08:51:29 6238 7
原创 Flume运行原理
flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一.
2017-03-24 20:08:36 3554 1
原创 Spark内存管理原理(上)
Spark运行是内存分为三部分,执行内存(execute memory),存储内存(storge memory),预留内存(reserved memory).在1.6版本以前执行内存和存储内存是静态分配的,意思着应用一启动后,各区域的内存大小就是不变的。这就会带来一个后果,有时执行内存严重不足,但是存储内存又都没怎么用,或者相反。因为这个问题,spakr1.6版本之后引入的动态内存管理机制。
2017-03-23 08:43:48 5140
原创 Storm运行原理探索
Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一百万的组处理。
2017-03-13 08:37:23 4255 2
原创 Dubbo应用启动与停止脚本,超详细解析
本周刚好研究了一下dubbo的启动脚本,所以在官网的启动脚本和公司内部的启动脚本做了一个整理,弄了一份比较通过的Dubbo应用启动和停止脚本。 下面的脚本只应用于配置分离的应用,什么叫做配置分离呢?就是使用maven打包时,借助assemble插件,打一个tar.gz的压缩包。里面有三个目录。bin目录,用来存放启动与停止的脚本,lib目录,用来存放相关依赖的j...
2017-03-12 15:01:12 15435 4
原创 Spark原理解析
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等
2017-03-07 08:35:27 2238
原创 Flume+HDFS+Kafka+Hive实例搭建
摘要:本文要实现的是一个使用Flume来处理Kafka的数据,并将其存储到HDFS中去,然后通过Hive外部表关联查询出来存储的数据。所以在建立一个maven工程,整个工程最终的目录如下:下面开始一步一步讲解1、定义自己的source 之所以不用源生的,是因为要对得到的消息要一定的处理后再保存到hdfs中去,这里主要就是将每一条消息解析并组装成以“|”做...
2017-03-04 17:34:07 9906 7
dubbo应用启动与停止脚本
2017-03-12
AngularJS+RequireJs实现动态加载JS和页面
2016-09-11
Bluemix数据缓存实例
2016-02-05
Bluemix文本转语音实例
2016-02-05
RabbitMq与Spring整合实例
2016-01-20
select2-4.0.1.zip
2015-12-06
Shiro登陆验证实例,采用SSM
2015-12-06
pytesser_v0.0.1.zip
2015-11-02
PIL-1.1.7.win32-py2.7.exe
2015-11-02
tesseract-1.03.tar.gz
2015-11-02
PageHelper分页实例(带页面)
2015-10-27
web流程图动态绘制-使用raphael
2015-09-30
Maven搭建Spring+Mybatis+SpringMVC+MySql实例
2015-09-30
Maven搭建Spring+Mybatis+MySql实例
2015-09-30
dubbo-admin-2.5.4
2015-08-27
dubbo-hellowrold实例
2015-08-27
Mybatis Generator自动生成代码实例
2015-07-23
Ajax+SpringMVC+Spring+Mybatis+MySql+js用户注册实例
2015-07-23
mybatis-generator-core
2015-07-23
JSP九大内置对象和四种属性范围解读
2015-07-15
JavaScript中使用Json范例
2015-07-03
Json开发用到的jar包
2015-07-03
servlet之cookied深入浅出
2015-06-24
Servlet仿CSDN动态验证码的生成-带数字和字母
2015-06-23
Servlet动态验证码的生成-带数字和字母
2015-06-23
Spring之Construcotrer注入和setter注入不同的XML写法方式
2015-06-20
Spring3.2.9+commons-logging-1.2.jar
2015-06-17
Spring使用XML配置声明式事务
2015-05-19
Spring AOP之基于AspectJ注解总结与案例
2015-05-19
Spring JDBC应用实例讲解
2015-05-19
Spring AOP之基于Schema配置总结与案例
2015-05-19
Spring AOP之5种增强方法应用范例
2015-05-19
AOP之JDK动态代理和CGLib动态代理
2015-05-19
IOC之基于Java类的配置Bean
2015-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人