草原孤狼的专栏

能记下点什么、就积点什么!!!

eclipse for c++ 开发

只需要下载相应软件就可以实现使用 eclipse 来开发C++ 的开发。 1.开发工具:eclipse-cpp-europa-winter-win32.zip 专门的 C ,C++ 开发软件。 2.编译环境:mingw-get-inst-20120426.exe。 ...

2013-04-28 16:49:06

阅读数:895

评论数:0

程序感悟

一: IT 技术的发展日新月异,新技术层出不穷,具有良好的学习能力,能及时获取新知识、随时补充和丰富自己,已成为程序员职业发展的核心竞争力。本文中,作者结合多年的学习经验总结出了提高程序员学习能力的三个要点。   众所周知,现在是一个知识爆炸的时代,知识更新非常快。据测算,一个大学毕业生所...

2013-04-26 17:43:55

阅读数:511

评论数:0

Hadoop 调度器

目的   本文档描述了公平调度器(Fair Scheduler),这是一个用于Hadoop的插件式的Map/Reduce调度器,它提供了一种共享大规模集群的方法。   引言   公平调度是一种赋予作业(job)资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。...

2013-04-26 16:00:05

阅读数:605

评论数:0

MapReduce 详解

函数式编程概念   MapReduce程序是设计用来并行计算大规模海量数据的,这需要把工作流分划到大量的机器上去,如果组件(component)之间可以任意的共享数据,那这个模型就没法扩展到大规模集群上去了(数百或数千个节点),用来保持节点间数据的同步而产生的通信开销会使得系统在大规模集群上...

2013-04-26 15:53:39

阅读数:1243

评论数:0

Pig安装与配置教程

来自原小站,技术含量≈0,翻译整理自Hadoop-The Definitive Guide。 Pig是yahoo捐献给apache的一个项目,它是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以...

2013-04-26 15:50:41

阅读数:567

评论数:0

hadoop 体系介绍

1. Hadoop Common 从Hadoop 0.20版本开始,原来Hadoop项目的Core部分更名为Hadoop Common。Common为Hadoop的其他项目提供了一些常用工具,主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统...

2013-04-25 14:26:17

阅读数:934

评论数:0

MySQL优化经验

MySQL优化经验 同时在线访问量继续增大 对于1G内存的服务器明显感觉到吃力严重时甚至每天都会死机 或者时不时的服务器卡一下 这个问题曾经困扰了我半个多月MySQL使用是很具伸缩性的算法,因此你通常能用很少的内存运行或给MySQL更多的被存以得到更好的性能。    安装好mysql后,配制...

2013-04-25 10:43:58

阅读数:543

评论数:0

编程注意的问题

编程中应该注意的相关问题: 1. 当性能遇到问题时,如果能在应用层进行计算和处理,那就把它从数据库层拿出来。排序和分组就是典型的例子。在应用层做性能提升总是要比在数据库层容易的多。就像对于MySQL,sqlite更容易掌控。 2. 关于并行计算,如果能避免就尽量避免。如果无法避免,记住,能...

2013-04-24 09:57:41

阅读数:441

评论数:0

Java python区别

python 和java 的区别、 1.在处理文件的时候,一般要求:在.py的文件的第一行写上:# -*- coding:utf-8 -*- :用以标示文件编码是:utf-8的. python 是一个脚本语言,而java是一个系统语言! 一:java和python的简单比较 ...

2013-04-23 17:17:45

阅读数:1153

评论数:0

hadoop wordcount深入

hadoop是否支持中文的操作 这个是我的word.txt 的测试文件: 得到的结果是: 由此可以看出、hadoop是支持中文查找的、依赖的标准是:空格! 在本例的wordcount的查找中、HDFS的标准是按照空格来查找的、只要是空格出现的地方...

2013-04-23 13:36:05

阅读数:677

评论数:0

hadoop 权限

1. 可以在hdfs-site.xml中添加如下dfs.permissions  false的方式关闭文件权限检查 后期在逐步更新!

2013-04-22 18:00:46

阅读数:573

评论数:0

hadoop wiki

1.1. What is Hadoop? Hadoop is a distributed computing platform written in Java. It incorporates features similar to those of the Google File Syst...

2013-04-22 17:59:17

阅读数:781

评论数:0

hadoop 集群安装

环境:CentOs5、hadoop0.20.203、jdk1.6.0_29 namenode:centos1(ip:192.168.1.101) datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104) 配置步骤: ...

2013-04-22 17:58:37

阅读数:598

评论数:0

hadoop wordcount

Hadoop版本:hadoop-1.0.4 第一步:先启动hadoop守护进程、在hadoop 的bin目录下执行。 1.格式化:hadoop namenode -format 2.启动服务:start-all.sh hadoop-daemon.sh start namenode...

2013-04-22 17:57:14

阅读数:806

评论数:0

hadoop 常用命令

启动Hadoop     进入HADOOP_HOME目录。     执行sh bin/start-all.sh     或者是在hadoop 的目录下能看到他的bin目录、执行:bin/start-all.sh 关闭Hadoop     进入HADOOP_HOME目录。     执...

2013-04-22 17:56:12

阅读数:642

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭