- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 MongoDB与内存
但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果：shell> top -p $(pidof mongod)Mem: 32872124k total, 30065320k used, 280
2013-11-20 17:25:33
645
转载 关于项目管理的一点体会——需求等级、任务分解、可视化、每日构建
“1人100个月完成的项目，不是100个人1个月就可以完成。”项目管理是让项目活动中相互竞争的各类制约因素：质量、进度、资源、风险等取得平衡的艺术，同时也是平衡项目干系人的各种需要、关注和期望，带领不同的人朝着相同目标迈进的领导艺术。成功的项目管理可以简单理解为：按时、在预算内+满足产品需求+满足质量需求 地完成项目。以下是我对项目管理的一点体会记录。———————————————
2013-11-20 16:40:56
3726
转载 简单快速的可用性测试
可用性测试是改善产品的最佳方式之一，这一点，在内部已经是不争的共识。只是由于用研人手总是不足，所以为了能让各个部门的同事能更快速地展开一些研究和测试的工作，我们陆续整理了一些简单的文档和教程，并计划通过集中的培训来普及一些用户体验的方法。因此，要特别强调的是，本文所介绍的测试方法是简单，非正式的，小样本的，以发现严重问题为目的的。如果要深入了解测试的原理，方法，请参阅以下几本书：Handboo
2013-11-20 16:33:55
763
转载 Nginx 配置文件详解
user nginx ;#用户worker_processes 8;#工作进程，根据硬件调整，大于等于cpu核数error_log logs/nginx_error.log crit;#错误日志pid logs/nginx.pid;#pid放置的位置
2013-11-11 20:32:09
606
转载 【hadoop】Hadoop学习笔记（九）：如何在windows上使用eclipse远程连接hadoop进行程序开发
由于hadoop主要是部署和应用在linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还真有点心疼——比如说快播，O(∩_∩)O~），于是便想着用eclipse来远程连接hadoop进行开发，摸索了一番，下面是其步骤： 1. 首先把hadoop-eclipse-plugin-1.0
2013-11-05 20:01:07
1200
转载 【hadoop】Hadoop学习笔记（八）：如何使用Maven构建《hadoop权威指南3》随书的源码包
《hadoop：the definitive guide 3th》中的例子默认提供了一种编译和构建jar包方法——maven，如果没有maven你会发现编译测试随书的源码会非常的麻烦（至少在命令行下），当然你也可以使用eclipse导入随书的源码再自己一个个的添加依赖性jar包（恐怕也不太容易）。不过还好有非常好的开源的软件项目管理工具来帮助我们做这些无关于程序本身设计与架构的琐碎的工作，那就是m
2013-11-05 20:00:06
1260
转载 【hadoop】Hadoop学习笔记（七）：使用distcp并行拷贝大数据文件
以前我们介绍的访问HDFS的方法都是单线程的，Hadoop中有一个工具可以让我们并行的拷贝大量数据文件，这个工具就是distcp。 distcp的典型应用就是在两个HDFS集群中拷贝文件，如果两个集群使用的Hadoop版本相同，可以使用hdfs标识符： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar 这条
2013-11-05 10:47:17
867
转载 【hadoop】Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制
读文件 读文件时内部工作机制参看下图： 客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置
2013-11-04 16:27:42
1046
转载 【hadoop】Hadoop学习笔记（五）：一些关于HDFS的基本知识
当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点失败的情况下数据不会丢失。Hadoop中有一个核心子项目HDFS(Hadoop Distributed FileSystem)就是用来管理集群的存储问
2013-11-04 15:58:02
941
1
转载 【hadoop】Hadoop学习笔记（四）：Hadoop中的streaming
Hadoop为MapReduce提供了一个允许你使用除了java以外的语言编写map，reduce函数的API：Hadoop Streaming使用标准流（standard streams)作为Hadoop和应用程序之间传输数据的接口。所以你可以使用任何语言编写map，reduce函数，只要它能够从标准输入流（stdin）中读入数据，以及向标准输出流（stdout）中写输出数据就行。 S
2013-11-04 15:23:23
869
转载 【hadoop】Hadoop学习笔记（三）：Combiner funcitons
很多MapReduce程序受限于集群上可用的带宽，所以它会尽力最小化需要在map和reduce任务之间传输的中间数据。Hadoop允许用户声明一个combiner function来处理map的输出，同时把自己对map的处理结果作为reduce的输入。因为combiner function本身只是一种优化，hadoop并不保证对于某个map输出，这个方法会被调用多少次。换句话说，不管combine
2013-11-04 15:10:46
757
转载 【hadoop】Hadoop学习笔记（二）：从map到reduce的数据流
一个MapReduce作业是一个用户希望被执行的工作单元：它包括输入数据，MapReduce程序和配置信息。Hadoop通过把作业分成任务（tasks，分为map tasks 和reduce tasks两种）的形式来运行该作业。 有两种节点用来控制每个作业的执行： jobtracker通过把tasks分发到各个tasktrackers来运行，并协调系统上运行的所有作业。tasktrack
2013-11-04 15:06:40
868
转载 【hadoop】Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature
本《hadoop学习笔记》系列是在《hadoop: the definitive guide 3th》的基础上通过网上额外搜集资料和查看hadoop的API再加上自己的实践方面的理解编写而成的，主要针对hadoop的特性和功能学习以及Hadoop生态圈中的其他工具（如Pig，Hive，Hbase，Avro等等）。另外设计到hadoop编程方面的请查阅另一个笔记系列：《Hadoop编程笔记》。如果有
2013-11-04 14:58:47
1242
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人