hadoop实践
xinghaifeng2006
这个作者很懒,什么都没留下…
展开
-
Linux下高并发socket最大连接数所受的各种限制
Linux下高并发socket最大连接数所受的各种限制 12/06. 20131、修改用户进程可打开文件数限制在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。可使用ulim...原创 2013-12-10 10:21:20 · 135 阅读 · 0 评论 -
Hadoop工具生态系统指南
Hadoop工具生态系统指南 Hadoop工具生态系统生长迅速,以下是IT经理网整理的最新Hadoop工具资源,供IT经理日常参考,欢迎读者来信或留言补充。 HadoopApache hadoop项目负责开发可靠的、可扩展的分布式计算开源软件。网址:hadoop.apache.org HDFS分布式文件系统提供高速的应用数据访问。网址:hadoop...原创 2013-10-24 09:26:20 · 83 阅读 · 0 评论 -
HBase性能调优(转载)
原文链接:http://kenwublog.com/hbase-performance-tuning因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:Re...原创 2013-09-17 10:51:08 · 75 阅读 · 0 评论 -
无法启动Hbase hbase-default.xml file seems to be for and old version of HBase
无法启动Hbase错误如下Exception in thread "main" java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (@@@VERSION@@@), this version is 0.92.1 at org.apach...原创 2013-09-15 11:58:45 · 375 阅读 · 0 评论 -
HBase 过滤器实践(五)
标题党 ....... 待续原创 2013-09-08 16:13:26 · 74 阅读 · 0 评论 -
HBase Java Api Eclipse开发(四)
待。。。。。 标题党 哈哈原创 2013-09-08 16:07:21 · 94 阅读 · 0 评论 -
HBase行健设计策略(三)(未完成)
在设计HBase表时,行健是非常重要的事情。行健决定了访问HBase表时可以得到的性能。关系型数据库可以在多个列上建立索引,但HBase只能在键上建立索引,访问数据的唯一办法是使用行健,如果不知道想访问的数据的行健,就必须扫描相当多的行。...原创 2013-09-08 15:50:27 · 90 阅读 · 0 评论 -
HBase分布式数据库简介(一)
一、 简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apa...原创 2013-09-08 15:40:49 · 138 阅读 · 0 评论 -
HBase快速安装单机版(二)
单机版 安装版本:0.94.10 第一步:wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.10/hbase-0.94.10.tar.gz 第二步:tar xvfz hbase-0.94.10.tar.gz 第三步:cd hbase-0.94.10 修改conf文件夹下的hbase-site.xml文件,添加下...原创 2013-09-08 15:07:17 · 78 阅读 · 0 评论 -
Hbase 基础知识整理
1、扫描操作scan 可以输入startRow和stopRow参数,其中 起始行包括在内,而终止行是不包括在内的,用区间表示就是【startRow,stopRow). 2、Region的rowKey也是 前开后闭模式【startRow,stopRow)....原创 2014-01-11 09:43:48 · 163 阅读 · 0 评论 -
Hbase异常 正在找解决办法 ~~
14/01/06 21:31:31 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for...原创 2014-01-06 21:35:11 · 834 阅读 · 0 评论 -
hadoop无法停止
hadoop无法停止 hadoop运行一段时间后,无法正常停止。解决方法:1.jps查询所有的相关进程,如namenode,然后kill -9 进程号2.修改etc/hadoop/hadoop-env.sh 中的 hadoop-pid-dir 指定到一个有效的目录、 如:export hadoop-pid-dir=/data/hadoop/pids 产生...原创 2014-01-05 17:49:16 · 445 阅读 · 0 评论 -
hbase 启动报错解决
转载自:http://hi.baidu.com/coconutnut/item/97ba15ca5da3820fac092f6chbase 启动解决今天搞了一天。经常出现Server is not running yet 的错误。找了几个小时。终于发现是 hadoop 启动的问题。--------NameNode在启动的时候首先进入安全模式,如果datanode丢失的block...原创 2014-01-05 15:19:40 · 538 阅读 · 0 评论 -
启动hive 抛异常 "org.eclipse.core.resources" but it cannot be resolved.ERROR
运行命令 启动hive hive --service metastore 命令运行后 ERROR DataNucleus.Plugin: Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved.ERROR DataNucleus.Plugin:...原创 2014-01-04 23:18:15 · 272 阅读 · 0 评论 -
Hadoop启动时进入安全模式 SafeModeException
用这个http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html 解决的问题 。备忘~~ org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in ...原创 2014-01-04 23:06:09 · 247 阅读 · 0 评论 -
hive 集成hbase 笔记
转载地址:http://blog.csdn.net/daniel_ustc/article/details/12795627 按这个博文安装成功,留个参考。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点学习成本低,可以通过类SQL语句快速实现简单的Map...原创 2014-01-01 18:07:57 · 85 阅读 · 0 评论 -
OOZIE上传mapReduce任务
例子路径:下载oozie-2.3.2-cdh3u6包 例子在oozie-2.3.2-cdh3u6/oozie-2.3.2-cdh3u6/docs/DG_Examples.html 文档中 ,可以用Command方式 oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.pr...原创 2013-12-31 23:05:12 · 137 阅读 · 0 评论 -
Storm 本地运行 统计字母出现次数
说明:这个例子是在网上下载的,我将storm0.7.1的jar包引入 ,在windows环境eclipse下可以跑通 。 可以有助于理解storm处理流程,不用安装storm环境 , 将工程引入到项目 执行TopologyMain.java 传参words.txt路径 即可。 ...原创 2013-12-25 15:21:38 · 93 阅读 · 0 评论 -
Hadoop v2 时代正式到来()
转载自:http://www.iteye.com/news/28387Apache基金会近日正式发布了Hadoop 2.2版本,该版本是Hadoop 2.x分支中的首个稳定版本(2.0.x为alpha版本,2.1.x为beta版本),标志着Hadoop 2时代的正式到来。 Apache建议用户升级至最新版本,因为这个版本更加稳定,并保持与之前版本API和相关协议条款的兼容。与Hado...原创 2013-10-24 09:29:18 · 127 阅读 · 0 评论