![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 58
mesmall
这个作者很懒,什么都没留下…
展开
-
eclipse:log4j:WARN No appenders could be found for logger
在src下面新建file名为log4j.properties内容如下:# Configure logging for testing: optionally with log filelog4j.rootLogger=WARN, stdout# log4j.rootLogger=WARN, stdout, logfilelog4j.appender.stdout=org.apa原创 2014-07-31 09:59:32 · 5680 阅读 · 1 评论 -
hadoop在数据挖掘方面架构设计
本人不才研究大数据一年有余,做了一些关于存储和分析方面的项目。然而对于商业智能这一块,有设计思路单苦于个人能力和身边资源有限,此项目迟迟没有开展。今天偶然看到设计图片,不仅心寒,再次共享,希望大家多多交流指点,不周之处多多留言!原创 2015-05-10 15:47:44 · 963 阅读 · 0 评论 -
hbase+mapreduce计数表行数功能
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’原创 2015-05-15 17:20:32 · 1294 阅读 · 0 评论 -
Hadoop核心配置文件参数及核心命令说明
namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式化,启动时自动创建同一个原创 2015-05-14 10:28:46 · 4436 阅读 · 1 评论 -
Hadoop添加节点的方法
Hadoop添加节点的方法1.将cluster停止。2. 在新加的节点上配置好环境,包括ssh,jdk,并将其它datanode上的hadoop和hbase文件夹全部copy过去;3. 将新的datanode的host加到集群namenode及其他datanode中去;4. 将新的datanode的host加到master的conf/slaves中;5. 再次启动cluster原创 2015-05-14 09:43:43 · 1104 阅读 · 0 评论 -
大数据性能调优之HBase的RowKey设计
大数据性能调优之HBase的RowKey设计1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自转载 2015-05-20 08:52:36 · 1119 阅读 · 0 评论 -
ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1伪分布式环境部署
此文档写的不错,给人推荐,链接如下:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=542转载 2015-05-16 14:14:20 · 793 阅读 · 0 评论 -
Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服转载 2015-05-20 15:57:54 · 471 阅读 · 0 评论 -
Hive编程入门总结-用Java代码通过JDBC连接Hiveserver
Hive:用Java代码通过JDBC连接Hiveserverhttp://www.iteblog.com/archives/846实战1——Hive与JDBC示例http://www.cnblogs.com/linjiqin/archive/2013/03/07/2947848.htmlHive实例:CSDN十大常用密码http://blog.sina.com.cn原创 2015-05-27 19:59:30 · 2259 阅读 · 0 评论