hadoop
文章平均质量分 89
iteye_16144
这个作者很懒,什么都没留下…
展开
-
【原创】应该在什么时候使用Hadoop?
IT界从来不缺少浮躁,现在什么公司都说大数据,好像不搞这个显得自己很落后似的。但是什么是大数据?多大的数据才是大数据?用什么工具去解决多大的数据?下面这篇文章的观点很好,我比较认同。其中它提到,超过5T的数据建议使用hadoop。其实从hadoop的计算架构来看,这也是合理的,因为经过测试,小而多的数据文件进行计算,效率非常差。大而少的文件嫩更充分利用hadoop计算架构的优势。 ...原创 2015-02-12 09:55:02 · 316 阅读 · 0 评论 -
Hive JDBC运行连接注意事项
通过jdbc方式连接hive,能让你非常方便、简单地去使用hadoop挖掘数据,门槛大大降低。其实连接方式很简单,但是第一次使用,总会有些莫名奇妙的错误,下面给出一些注意事项,希望对初学者有帮助。首先我的环境:hadoop2.4.0+hive0.14.0。 所需jar包: <classpathentry kind="lib" path="lib/commons-...2015-04-02 15:28:22 · 431 阅读 · 0 评论 -
ubuntu-14.04.1+hadoop2.4完全分布式搭建要点
最近帮公司搭建hadoop集群,现在总结一下相关要点:1、没有搭建过hadoop的,建议先搭建一个伪集群体验一下2、建议最少集群机器配置:5台。 1台NameNode 1台 ResourceManager 3台DataNode3、完全分布集群搭建的重点、难点就是无密SSH登录,很多人会卡在这里。重点:<1> 各个服务器创建同一个账号,同一个用户组<2> ssh-key...2015-05-14 09:58:28 · 107 阅读 · 0 评论