- 博客(16)
- 资源 (37)
- 收藏
- 关注
RSS订阅原创 eclipse for c++ 开发
只需要下载相应软件就可以实现使用 eclipse 来开发C++ 的开发。1.开发工具：eclipse-cpp-europa-winter-win32.zip 专门的 C ,C++ 开发软件。2.编译环境：mingw-get-inst-20120426.exe。由于上传的限制、无法上传该两款软件、网上多的是、主要操作可以参见：http://
2013-04-28 16:49:06
1147
转载 程序感悟
一：IT 技术的发展日新月异，新技术层出不穷，具有良好的学习能力，能及时获取新知识、随时补充和丰富自己，已成为程序员职业发展的核心竞争力。本文中，作者结合多年的学习经验总结出了提高程序员学习能力的三个要点。 众所周知，现在是一个知识爆炸的时代，知识更新非常快。据测算，一个大学毕业生所学到的知识，在毕业之后 2 年内，有效的不过剩下5%。对于软件行业而言，这种形势更为明显，我们赖以立足
2013-04-26 17:43:55
792
转载 Hadoop 调度器
目的 本文档描述了公平调度器（Fair Scheduler），这是一个用于Hadoop的插件式的Map/Reduce调度器，它提供了一种共享大规模集群的方法。 引言 公平调度是一种赋予作业（job）资源的方法，它的目的是让所有的作业随着时间的推移，都能平均的获取等同的共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它作业被提交上来时，系统会将任务（task）空闲时间片
2013-04-26 16:00:05
874
转载 MapReduce 详解
函数式编程概念 MapReduce程序是设计用来并行计算大规模海量数据的，这需要把工作流分划到大量的机器上去，如果组件(component)之间可以任意的共享数据，那这个模型就没法扩展到大规模集群上去了（数百或数千个节点），用来保持节点间数据的同步而产生的通信开销会使得系统在大规模集群上变得不可靠和效率低下。 实际上，所有在MapReduce上的数据元素都是不可变的，这就意味着它们
2013-04-26 15:53:39
1985
转载 Pig安装与配置教程
来自原小站，技术含量≈0，翻译整理自Hadoop-The Definitive Guide。Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。Pig是一个
2013-04-26 15:50:41
865
原创 nutch使用
来自：http://yangshangchuan.iteye.com/blog/18404811、三台机器host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)host6(DataNode、TaskTracker)host8(DataNode、TaskTracker)vi /etc...
2013-04-26 11:42:42
218
原创 hadoop 体系介绍
1. Hadoop Common从Hadoop 0.20版本开始，原来Hadoop项目的Core部分更名为Hadoop Common。Common为Hadoop的其他项目提供了一些常用工具，主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提
2013-04-25 14:26:17
1343
转载 MySQL优化经验
MySQL优化经验同时在线访问量继续增大 对于1G内存的服务器明显感觉到吃力严重时甚至每天都会死机 或者时不时的服务器卡一下 这个问题曾经困扰了我半个多月MySQL使用是很具伸缩性的算法，因此你通常能用很少的内存运行或给MySQL更多的被存以得到更好的性能。 安装好mysql后，配制文件应该在/usr/local/mysql/share/mysql目录中，配制文件有几个，有my-hu
2013-04-25 10:43:58
720
原创 编程注意的问题
编程中应该注意的相关问题：1. 当性能遇到问题时，如果能在应用层进行计算和处理，那就把它从数据库层拿出来。排序和分组就是典型的例子。在应用层做性能提升总是要比在数据库层容易的多。就像对于MySQL，sqlite更容易掌控。2. 关于并行计算，如果能避免就尽量避免。如果无法避免，记住，能力越大，责任越大。如果有可能，尽量避免直接对线程操作。尽可能在更高的抽象层上操作。例 如，在iOS中，
2013-04-24 09:57:41
602
原创 Java python区别
python 和java 的区别、1.在处理文件的时候,一般要求：在.py的文件的第一行写上：# -*- coding:utf-8 -*- ：用以标示文件编码是：utf-8的.python 是一个脚本语言，而java是一个系统语言！一：java和python的简单比较1、没有{}，全部使用：和缩进代替 .2、注释使用# .3、doc使用'''或者""
2013-04-23 17:17:45
1597
原创 hadoop wordcount深入
hadoop是否支持中文的操作这个是我的word.txt 的测试文件：得到的结果是：由此可以看出、hadoop是支持中文查找的、依赖的标准是：空格！在本例的wordcount的查找中、HDFS的标准是按照空格来查找的、只要是空格出现的地方、就明显的列出了元素出现的次数。
2013-04-23 13:36:05
859
原创 hadoop 权限
1. 可以在hdfs-site.xml中添加如下dfs.permissions false的方式关闭文件权限检查后期在逐步更新！
2013-04-22 18:00:46
930
原创 hadoop wiki
1.1. What is Hadoop?Hadoop is a distributed computing platform written in Java. It incorporates features similar to those of the Google File System and of MapReduce. For some details, seeHadoopMap
2013-04-22 17:59:17
1618
原创 hadoop 集群安装
环境：CentOs5、hadoop0.20.203、jdk1.6.0_29namenode:centos1(ip:192.168.1.101)datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)配置步骤：（1）配置NameNode和DataNode修改每台机器的/etc/hosts(包括na
2013-04-22 17:58:37
789
原创 hadoop wordcount
Hadoop版本：hadoop-1.0.4第一步：先启动hadoop守护进程、在hadoop 的bin目录下执行。1.格式化：hadoop namenode -format2.启动服务：start-all.sh hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode (很多时候，这namenode和d
2013-04-22 17:57:14
1021
原创 hadoop 常用命令
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 或者是在hadoop 的目录下能看到他的bin目录、执行：bin/start-all.sh关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 同上。1、查看指定目录下内容
2013-04-22 17:56:12
1175
webservice demo
2013-05-31
NiFi学习实践.doc
2019-10-23
tomcat+memcached session共享
2015-08-28
去https，环信注册
2015-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人