Hadoop
dengbenji
这个作者很懒,什么都没留下…
展开
-
jps 报process information unavailable解决办法
jps时出现如下信息:4791 -- process information unavailable解决办法:进入tmp目录,cd /tmp删除该目录下名称为hsperfdata_{username}的文件夹然后jps,清净了。...原创 2013-03-13 15:38:51 · 168 阅读 · 0 评论 -
Hadoop sql
[b]用SQL-on-Hadoop构建互联网数据仓库与商务智能系统[/b]http://huiyi.csdn.net/meeting/info/730/biz原创 2014-03-05 14:24:06 · 92 阅读 · 0 评论 -
rdbms hadoop
[b]MySQL推出Applier,可实时复制数据到Hadoop[/b]http://www.iteye.com/news/27625[b]ORACLE连接HADOOP[/b]http://www.5ienet.com/note/html/hadoop/using_oracle_big_data_connector_for_hadoop.shtml[b]Apache Sqoop:连...原创 2013-12-20 11:28:17 · 80 阅读 · 0 评论 -
hadoop 分布式安装
环境:CentOs6、hadoop-2.0.0-cdh4.0.1、jdk1.7namenode:master.hadoop(ip:192.168.146.68)datanode:slave1.hadoop(ip:192.168.146.69)、slave2.hadoop(ip:192.168.146.70)配置步骤:(1)配置NameNode和DataNode...原创 2013-07-18 16:24:26 · 60 阅读 · 0 评论 -
hadoop 调度
[b]hadoop 调度[/b]https://github.com/Netflix/genie[b]corona[/b]https://github.com/facebook/hadoop-20/tree/master/src/contrib/corona原创 2013-11-27 09:51:46 · 92 阅读 · 0 评论 -
hadoop etl
[b]Kettle[/b]https://github.com/webdetails/kettle-trunk原创 2013-11-27 09:50:05 · 154 阅读 · 0 评论 -
flume
[b]Hadoop Analysis of Apache Logs Using Flume-NG, Hive and Pig[/b]http://cuddletech.com/blog/?p=795[b]flumeng hbase jmx integration[/b]http://ilnba.iteye.com/blog/1846385原创 2013-11-26 17:22:23 · 86 阅读 · 0 评论 -
hadoop灾备
master 故障测试(冷备方案NameNode故障手动切换): 1. 不切换 NameNode 主机。 1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。 2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。 3).在 NameNode 主机执行 had...原创 2013-11-23 13:07:10 · 844 阅读 · 0 评论 -
Hadoop Gridmix
1、 概述 Hadoop Gridmix是针对hadoop系统的基准测试程序。它具备评测大规模数据处理系统所需的各个功能模块,包括:产生数据,生成并提交作业,统计作业完成时间等。本文主要介绍了Hadoop cdh4.0.1中自带的Gridmix2基准测试程序(位于\src\benchmarks目录下)的设计原理及使用方法。 2、 作业种类 Gridmi...原创 2013-01-16 11:15:24 · 140 阅读 · 0 评论 -
大数据
[b]2013大数据大会:[/b]http://blog.nosqlfan.com/html/4209.html dtcc2013 ppt 集合[b]ceph[/b]https://www.ustack.com/blog/ceph_infra/[b]seafile[/b]http://manual.seafile.com/deploy_pro/setup_with_ceph.h...原创 2013-04-25 09:55:29 · 68 阅读 · 0 评论 -
Hadoop url
[b]Hadoop集群(第5期)_Hadoop安装配置[/b]http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html[b]Deploying Hadoop Clusters using Ansible[/b]https://github.com/ansible/ansible-examples/tree/maste...原创 2013-03-28 09:25:10 · 162 阅读 · 0 评论 -
机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时,HDFS会尽量让...原创 2013-09-22 09:52:40 · 401 阅读 · 0 评论