- 博客(7)
- 收藏
- 关注
原创 <一>Strom实时计算学习笔记
Storm计算基本机构 本篇包含以下几点: strom topology 的基本组成补分; 搭建storm开发环境; 实现单词技术程序; 并发和容错机制; 第一:storm topology 的基本组成部分:stream ,spout ,和bout; storm分布式计算机构称为topology;由stream(数据流) ,spout(数据生产者) ,和bout
2015-10-15 11:26:48 291
原创 Hadoop学习笔记
Hadoop介绍 Hadoop是Google云计算框架的开源实现,是一个分布式存储和分布式计算的框架,主要包括HDFS和MapReduce的实现。 HDFS HDFS由一个NameNode和多个DataNode组成,其中NameNode相当于系统的元数据存放地,它是Hadoop系统的神经中枢,而多个DataNode存储数据。 MapReduce:分布式计算
2015-10-15 11:13:53 210
转载 如何用Spring读取JAR中的文件
使用如下方式读取JAR中的文件出错 类路径下放了一个jarfile.jar,如下所示: 如上所示,com/yyy/1.txt放在jarfile.jar中。 我原来使用如下的方式读取这个JAR中的文件: Java代码 @Test public void usingSpringMethod() throws Throwable
2015-10-15 11:10:25 1081
转载 Java 载入Jar内资源问题的探究
问题初现: 在服务集成平台中需要新增一块写入数据库的逻辑,因此考虑最简便就是弄个Spring的BeanFactory来搞定这一切,谁知道,问题就这么出现了。很简单,通过Spring的ClassPathXmlApplicationContext来构建BeanFactory,下面的语句大家应该很熟悉: ctx = new ClassPathXmlApplicationCont
2015-10-15 11:00:35 202
翻译 通过Spring工具类获取classpath下的文件资源--笔记
通过Spring工具类获取classpath下的文件资源 1、资源文件不在jar中 File cfgFile = ResourceUtils.getFile("classpath:test.txt"); 或者 org.springframework.core.io.Resource fileRource = new ClassPathResource("test.txt")
2015-10-15 10:52:25 513
翻译 大索引技术的潮流
随着Hadoop技术的普及,其生态圈发展的越来越壮大,Hive、Hbase、Spark、Storm等的一系列新名词不断的涌现在我们的眼里。似乎NoSQL一夜间,攻陷了全部的大数据阵地。 传统的关系型数据库的一些思路,真的没有用武之地了么?真的就一去不复返了么?当大数据技术大旗在每个山头摇摆的时候,我们躲在角落里还能做些什么?“索引”,没错,数据库时代的必杀,大数据的利器。
2015-10-14 16:42:08 270
原创 大数据的生态圈 Hadoop,hive,spark
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。各有各的用处,互相之间又有重合。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。 HDFS: 传统的文件系统是单机的,不能横跨不同的机器。HDFS(Hadoop Distributed FileSystem)的设计本质上是为了大量的数据能横跨成百上千台机器,
2015-10-14 11:23:51 486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人