![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
dengbenji
这个作者很懒,什么都没留下…
展开
-
jps 报process information unavailable解决办法
jps时出现如下信息: 4791 -- process information unavailable 解决办法: 进入tmp目录, cd /tmp 删除该目录下 名称为hsperfdata_{username}的文件夹 然后jps,清净了。...原创 2013-03-13 15:38:51 · 169 阅读 · 0 评论 -
Hadoop sql
[b]用SQL-on-Hadoop构建互联网数据仓库与商务智能系统[/b] http://huiyi.csdn.net/meeting/info/730/biz原创 2014-03-05 14:24:06 · 94 阅读 · 0 评论 -
rdbms hadoop
[b]MySQL推出Applier,可实时复制数据到Hadoop[/b] http://www.iteye.com/news/27625 [b]ORACLE连接HADOOP[/b] http://www.5ienet.com/note/html/hadoop/using_oracle_big_data_connector_for_hadoop.shtml [b]Apache Sqoop:连...原创 2013-12-20 11:28:17 · 82 阅读 · 0 评论 -
hadoop 分布式安装
环境:CentOs6、hadoop-2.0.0-cdh4.0.1、jdk1.7 namenode:master.hadoop(ip:192.168.146.68) datanode:slave1.hadoop(ip:192.168.146.69)、slave2.hadoop(ip:192.168.146.70) 配置步骤: (1)配置NameNode和DataNode ...原创 2013-07-18 16:24:26 · 63 阅读 · 0 评论 -
hadoop 调度
[b]hadoop 调度[/b] https://github.com/Netflix/genie [b]corona[/b] https://github.com/facebook/hadoop-20/tree/master/src/contrib/corona原创 2013-11-27 09:51:46 · 96 阅读 · 0 评论 -
hadoop etl
[b]Kettle[/b] https://github.com/webdetails/kettle-trunk原创 2013-11-27 09:50:05 · 155 阅读 · 0 评论 -
flume
[b]Hadoop Analysis of Apache Logs Using Flume-NG, Hive and Pig[/b] http://cuddletech.com/blog/?p=795 [b]flumeng hbase jmx integration[/b] http://ilnba.iteye.com/blog/1846385原创 2013-11-26 17:22:23 · 88 阅读 · 0 评论 -
hadoop灾备
master 故障测试(冷备方案NameNode故障手动切换): 1. 不切换 NameNode 主机。 1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。 2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。 3).在 NameNode 主机执行 had...原创 2013-11-23 13:07:10 · 846 阅读 · 0 评论 -
Hadoop Gridmix
1、 概述 Hadoop Gridmix是针对hadoop系统的基准测试程序。它具备评测大规模数据处理系统所需的各个功能模块,包括:产生数据,生成并提交作业,统计作业完成时间等。本文主要介绍了Hadoop cdh4.0.1中自带的Gridmix2基准测试程序(位于\src\benchmarks目录下)的设计原理及使用方法。 2、 作业种类 Gridmi...原创 2013-01-16 11:15:24 · 142 阅读 · 0 评论 -
大数据
[b]2013大数据大会:[/b] http://blog.nosqlfan.com/html/4209.html dtcc2013 ppt 集合 [b]ceph[/b] https://www.ustack.com/blog/ceph_infra/ [b]seafile[/b] http://manual.seafile.com/deploy_pro/setup_with_ceph.h...原创 2013-04-25 09:55:29 · 69 阅读 · 0 评论 -
Hadoop url
[b]Hadoop集群(第5期)_Hadoop安装配置[/b] http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html [b]Deploying Hadoop Clusters using Ansible[/b] https://github.com/ansible/ansible-examples/tree/maste...原创 2013-03-28 09:25:10 · 163 阅读 · 0 评论 -
机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时,HDFS会尽量让...原创 2013-09-22 09:52:40 · 406 阅读 · 0 评论