- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop学习笔记（作业、任务执行性能优化，故障，命令，日志，第三方工具）
作业：需要多少个reduce，输入时大文件优于小文件，压缩map的输出减少网络传输，优化每个节点能运行的任务数（mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum 缺省值均为2）。任务执行：推测式执行、重用JVM、忽略模式。错误处理：硬件故障（jobtracker或task
2015-07-30 10:04:53
378
原创 Hadoop学习笔记（Map_Reduce的思想）
Mapper负责分，即把复杂的任务分解为若干个简单的任务执行。简单的任务：数据或计算规模相对与原任务要大大缩小，就近计算，即会被分配到存放了所需数据的节点进行计算；这些小任务可以并行计算，彼此间无依赖。Reduce 对map阶段的结果进行汇总。reduce的数目有mapred-site.xml配置文件里的mapred.reduce.task决定，缺省值为1，用户可以修改。Shuffler：
2015-07-29 09:47:11
333
原创 hadoop学习笔记（HDFS的文件操作）
命令行方式和API方式：列出HDFS下的文件 bin/hadoop dfs -ls /-ls ./in上传文件到HDFS bin/hadoop dfs -put ../abc abc将HDFS的文件复制到本地bin/hadoop dfs -get abc ./xyz删除HDFS下的文档 bin/hadoop dfs -rmr abc查看HDFS下某个文
2015-07-24 09:37:49
429
原创 hadoop学习笔记（HDFS）
HDFS的设计基础与目标：（1）硬件错误是常态，因此需要冗余。（2）为大数据而生，流式读写，批量读取而非随机读写。擅长数据分析而不是事务处理。（3）大规模数据集。（4）一次写多次读逻辑设计，即一旦写入，只能读，不能修改。（5）程序才用“数据就近”原则分配节点执行。HDFS的可靠性：冗余副本策略、机架策略、心跳机制、安全模式、校验和、回收站、元数据保护、快照机制。HD
2015-07-22 17:48:28
348
原创 Hadoop学习笔记(准备与安装)
HDFS--分布式文件存储，MapReduce--分布式计算，HBase。推荐书籍：实战Hadoop 刘鹏(适合初学者)，Hadoop实战 陆嘉恒(有hadoop的开发经验)，Hadoop分布式文件系统深度解析( 熟练的高手)。Hadoop的三种运行模式：单机模式：仅作为调试使用，几乎可以不作任何配置。伪分布模式：在单节点上同时启动namenode、datenode、jobtrac
2015-07-22 09:44:41
290
原创 hadoop学习笔记(为什么hadoop的出现)
在当下大数据的浪潮中，我们发现以往的关系型数据库已不能良好的满足客服需求（关系型数据库要求I/O能力强，服务器的计算能力强）。在数据量大量提升下，就会遇到性能瓶颈，同时用户要求的分析数据，了解消费者的情况也要求具有很高的实时性，响应速度快。开发人员也面对着开发模型复杂，计算复杂度大大提高的设计挑战。hadoop能完美的解决性能上的瓶颈，它通过众多小型的服务器集群解决。同时针对过去所拥有的技
2015-07-21 15:09:04
649
原创 hadoop 学习笔记（hadoop架构）
如下图所示：client —用户switch—交换机rack—机架namenode—名称节点，是hdfs（分布式文件系统）的守护程序，起到一个总控制的作用，记录文件是如何分割成数据块以及这些数据块是存在哪些节点上的。对内存和io进行集中管理，它是一个单点，所以一旦namenode崩溃，整个hadoop将崩溃。用户是先通过访问namenode，来明确文件所在的数据节点位置。（核心的功
2015-07-15 15:53:02
502
转载 String.format()
JDK1.5中，String类新增了一个很有用的静态方法String.format(): format(Locale l, String format, Object... args) 使用指定的语言环境、格式字符串和参数返回一个格式化字符串。 format(String format, Object... args) 使用指定的格式字符串和参数返回一个格式化字符串。举几个这个方法
2015-07-15 14:38:51
233
转载 OSGI Blueprint(8)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1151452 前几日，有网友提了一个问题:用blueprint注册了 一个servlet服务，并将另一个osgi服务注入这个 servlet服务bean里，以便在处理用户的http请求 时调用。但是部署运行后
2015-07-14 15:23:27
342
转载 OSGI Buleprint(7)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1151451 Blueprint除了组装bean,osgi服务引用等的DI（IOC）功能之外，还可通过各种命名空间（namespace）来扩展。在《Blueprint入门之六》中，我们就用过一个与
2015-07-14 15:18:10
406
转载 OSGI Blueprint(6)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1151448 Blueprint既然是DI规范，自然在注入方面有很多的需求。在前几篇中，我们已接触了服务引用的注入: reference id="coderService" interface
2015-07-14 14:49:05
435
转载 OSGI Buleprint(5)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1151445 reference-list除了可以用setter的方式注入OSGI service外，还可以用listener的方法来实现OSGI service的注入。 xml ver
2015-07-14 14:26:55
475
转载 OSGI Buleprint(4)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1151440 上一篇提及了OSGI service的发布和引用，在 Blueprint里，服务的发布和引用是最常用的一种 最佳实践，通过借助服务引用这样松散的藕合方 法，可以让OSGI的动态性发挥得淋漓
2015-07-14 14:21:43
341
转载 OSGI Buleprint(3)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1131103 在上一篇的例子中，我们在bean节点里用property注入了一个OSGI service引用。那么这个OSGI service是从哪里来的呢?下面我们介绍一下Blueprint如何注册一个OS
2015-07-14 14:05:28
269
转载 OSGI Blueprint(2)
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1131092 Blueprint的xml文档的顶层结点如下: Java代码 "1.0" encoding="UTF-8"?> //www.osgi.org/xmlns/bl
2015-07-14 11:55:45
397
转载 OSGI Blueprint
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://killko.blog.51cto.com/3419292/1131090 Blueprint是OSGI的一个规范，它来源于spring dm.目前主要有aries和gemini两套实现,本文以aries的实现为基础。大致来说Blueprint是一个OSGI的IO
2015-07-14 11:24:59
586
转载 maven依赖关系中Scope的作用
maven依赖关系中Scope的作用 Dependency Scope 在POM 4中，中还引入了，它主要管理依赖的部署。目前可以使用5个值： * compile，缺省值，适用于所有阶段，会随着项目一起发布。 * provided，类似compile，期望JDK、容器或使用者会提供这个依赖。如servlet.jar。 * runtime，只在
2015-07-10 16:32:31
261
转载 OSGI bundle的知识
Import-Package与DynamicImport-Package的使用场景 如果一个Bundle不能确定需要Package中的那些Class,则使用DynamicImport-Package；否则使用Imort- Package. DynamicImport-Package: 如果一个Bundle需要某些类时，而这些使用了Class.forName
2015-07-10 15:43:52
336
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人