云计算
帅气的东哥
这个作者很懒,什么都没留下…
展开
-
13款java开源大数据工具
大数据几乎已成为所有商业领域共有的最新趋势,然而大数据究竟是什么?是噱头、泡沫,又或是真如传言一样的重要。事实上,大数据是个非常简单的术语——就像它所说的一样,是非常大的数据集。那么究竟有大多?真实的答案就是“如你所想的那么大”!那么为什么会产生如此之大的数据集?因为当今的数据已经无所不在并且存在着巨大的回报:收集通信数据的RFID传感器,收集天气信息的传感器,移动设备给社交网站发转载 2013-04-28 18:23:08 · 1671 阅读 · 0 评论 -
2013年NoSQL就业趋势分析
摘要:Cassandra、Redis、Couchbase、MongoDB、HBase和Riak作为NoSQL领域几大流行工具,现在的使用情况、就业趋势如何?来自Indeed的数据表明,除Hadoop外,MongoDb一路领先,Cassandra、HBase和Redis发展态势良好。去年2月份Robert Diana在《NoSQL Employment is Skyrocketing》一转载 2013-09-08 22:29:23 · 1554 阅读 · 0 评论 -
数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
摘要:Hadoop让大数据分析走向了大众化,然而它的部署仍需耗费大量的人力和物力。在直奔Hadoop之前,是否已经将现有技术推向极限?这里总结了对Hadoop投资前可以尝试的10个替代方案,省时、省钱、省力,何乐而不为?让业务搭乘大数据技术确实是件非常有吸引力的事情,而Apache Hadoop让这个诱惑来的更加的猛烈。Hadoop是个大规模可扩展数据存储平台,构成了大多数大数据项转载 2013-07-19 21:40:42 · 1252 阅读 · 0 评论 -
hadoop的环境配置
写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生。总结这一学期来的科协上课。虽然自己的技术十分有限,但还是坚持做到了每次上课都备课,确保上课演示的每一个例子都正确无误(然而,毕竟知识水平有限,应该还是会有一些教的不大准确的地方),让学弟能少走一些弯路。我想我已经尽力了,至少我问心无愧············原创 2013-05-05 21:27:23 · 1610 阅读 · 0 评论 -
hadoop的下载方法
登陆apache官网--------》找到Hadoop的顶级项目-------》“Download”-----------------------》“downloan a realease now”------------》这时候便能选择一个版本的hadoop进行下载原创 2013-05-05 15:50:05 · 1354 阅读 · 0 评论 -
hadoop中的datanode起不起来
hadoop datanode启动不起来转自:http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。 无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等转载 2013-05-04 12:25:41 · 2706 阅读 · 0 评论 -
hadoop中savemode的相关问题
hadoop@master:~/input$ hadoop dfs -put ./ input: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hadoop/in. Name node is in safe mode. 解决方法:Na原创 2013-05-04 11:31:58 · 1866 阅读 · 0 评论 -
hadoop中启动服务时的注意事项(备忘)
·1、不要在root@····中启动服务,因为你只是设置了hadoop中的无密钥访问,在root下还是需要密钥的。即不要再root@·····中输入以下命令:start-all.sh解决办法先切换到hadoop再执行start-all.sh 或stop-all.sh命令,切换语句为素hadoop原创 2013-05-03 23:00:33 · 1646 阅读 · 0 评论 -
查找某个文件在HDFS集群中的位置
通过"FileSystem.getFileBlockLocation(FileStatus file,long start,long len)"可查找指定文件在HDFS集群上的位置,其中file为文件的完整路径,start和len来标识查找文件的路径。以下是java代码的实现:package com.njupt.hadoop;import org.apache.hadoop原创 2013-05-04 19:17:00 · 4731 阅读 · 0 评论 -
hadoop中的pi值计算
注意在hadoop中,操作一定要规范。不规范的操作引起exception满天飞·······其实hadoop中的pi值运算还是挺简单的。在这里主要讲一下这个例子中要注意的地方:[hadoop@master hadoop-1.0.3]$ hadoop jar hadoop-examples-1.0.3.jar pi 10 100确保是在hadoop-1.0.3目录下,因为hadoop原创 2013-05-04 13:45:07 · 4406 阅读 · 0 评论 -
使用java实现在HDFS中创建文件夹
package com.njupt.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class HDFSMkdir {public static原创 2013-05-04 19:21:53 · 4132 阅读 · 0 评论 -
将本地文件拷到HDFS中
以下代码实现将本地文件拷到HDFS集群中package com.njupt.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class CopyToHD原创 2013-05-04 19:19:43 · 2724 阅读 · 0 评论 -
hadoop中datanode消失挂掉的原因及解决方法(1)
在hadoop中,假如在运行时出现了一个异常,那么datanode很可能会挂掉。这时候,重启一下master和node1就好了。注意运行start-all.sh命令时奥在hadoop身份中而不要在root身份中,即要在hadoop@······i下而不要在root@·······下。其实在出现问题时,多看日志,根据日志里面的提示信息一步一步的解决问题即可原创 2013-05-04 12:05:33 · 7638 阅读 · 0 评论 -
hadoop中namenode无法启动
最近因为女神的原因,做什么都无精打采。最蛋疼的时候是,今天搞集群时也无i精打采的,导致bug、exception满天飞。为此付出的代价就是调了一个晚上,最后是看日志一步一步的解决的。在这里建议大家,其实日志就是最好解决问题的工具。一下附上我在解决问题是参考了的一部分文档执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下原创 2013-05-02 23:39:14 · 1672 阅读 · 0 评论 -
hadoop1.2.1的的简单安装
一、所需要用到的资源hadoop1.2.1:http://download.csdn.net/detail/caihongshijie6/8692365jdk:http://pan.baidu.com/s/1c0m4SSC二、步骤本文的环境是VMWare+ubuntu12.041、修改root用户的密码sudo passwd root此后然后提示完成密码的设置2、先把在windows下下载好的ha原创 2015-05-12 19:36:27 · 1353 阅读 · 0 评论