Hadoop
文章平均质量分 52
qq271757232
这个作者很懒,什么都没留下…
展开
-
Hadoop 教程
初识Hadoop关于MapReduceHive安装 Apache Hadoop参考文献1.初识Hadoop1.1 数据洪流* 纽约证券交易所每天产生 1TB 的交易数据* Facebook 存储着约 100 亿张照片,约 1PB 的存储容量* The Internet Archive(互联网档案馆)存储着约 2PB 的数据,并以每月至少 20TB 的速度增长* 瑞士日内瓦附原创 2013-10-10 18:14:44 · 871 阅读 · 0 评论 -
Hadoop迁移Namenode
一.前提及方案 操作版本:社区版 Hadoop-1.0.3,其他版本不保证 之前HBase没有考虑压缩,经过一段时间的研究和测试,打算在HBase中全面采用snappy压缩库。但是在节点上配置snappy时,发现其要求glibc版本在2.5+,而当前系统CentOS-4.8的glibc是2.3.4,CentOS-4.8不支持独立升级glibc到2.5+,所以只能整个集群升级系统转载 2014-03-13 16:48:12 · 458 阅读 · 0 评论 -
hdfs-site.xml
dfs.name.dir /opt/hadoop/dfs/name true dfs.data.dir /opt/hadoop/dfs/data true fs.checkpoint.dir /opt/hadoop/dfs/namesecondar原创 2014-03-13 16:35:17 · 767 阅读 · 0 评论 -
hadoop
Hadoop运维记录系列(二)http://slaytanic.blog.51cto.com/2057708/1083039/转载 2014-04-14 18:38:46 · 422 阅读 · 0 评论 -
Hadoop问题
网络拓扑图 a.服务器配置 b.拓扑图* 节点管理 a.增加datanode b.删除datanode c.namenode恢复* 如何优化? a.Hive* 监控 a.节点故障 b.job数 Nagios原创 2014-04-15 18:30:37 · 410 阅读 · 0 评论 -
check_hadoop_dfs.py
'''Created on 2011-11-25@author: yue.zhang'''#!/usr/bin/env pythonimport commandsimport sysfrom optparse import OptionParserimport urllibimport redef get_dfs_free_percent(): urlItem =转载 2014-04-16 11:11:48 · 445 阅读 · 0 评论 -
check_hadoop_tasktracker.py
'''Created on 2011-11-25@author: yue.zhang'''#!/usr/bin/env pythonimport commandsimport sysfrom optparse import OptionParserimport urllibimport redef get_value(): urlItem = urllib.url转载 2014-04-16 11:13:48 · 392 阅读 · 0 评论 -
check_hadoop_datanode.py
'''Created on 2011-11-25@author: yue.zhang'''#!/usr/bin/env pythonimport commandsimport sysfrom optparse import OptionParserimport urllibimport redef get_value(): urlItem = urllib.url转载 2014-04-16 11:04:53 · 434 阅读 · 0 评论 -
hadoop dfsadmin
hadoop dfsadmin -safemode get原创 2014-04-17 09:44:12 · 861 阅读 · 0 评论 -
http://dongxicheng.org/mapreduce/how-to-improve-hadoop-stablility-and-performance/
探究提高Hadoop稳定性与性能的方法转载 2014-05-06 18:33:22 · 627 阅读 · 0 评论 -
hadoop secondarynamenode的两种配置方式
hadoop secondarynamenode的两种配置方式,hadoop版本是hadoop-1.0.4:集群分配关系:masterJobTracker&&Namenodenode1Secondarynamenodenode2TaskTracker&&Datanodenode3TaskTracker&&Datanodenode4TaskTracker&&Datanode转载 2014-03-13 16:47:27 · 799 阅读 · 0 评论 -
hadoop 教程
body { margin:0; padding:0;}body { font-size: 14px;}a:link { text-decoration: none;}.content { margin: 10px; padding: 10px; border: 1px dotted #ccc;}.content h1 {原创 2014-03-01 18:39:37 · 643 阅读 · 0 评论 -
Hadoop错误
1.Query returned non-zero code: 1, cause: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MapRedTask$ vim /etc/hadoop/mapred-site.xml mapreduce.job.counters.limi原创 2013-11-22 18:36:06 · 704 阅读 · 0 评论 -
Hadoop Config
1. /etc/hadoop/mapred-site.xml mapred.job.tracker hdfs://192.168.0.26:8021/ mapreduce.job.counters.limit 1400原创 2013-11-25 17:19:45 · 450 阅读 · 0 评论 -
PHP 连接 Hive 执行 SQL 查询
$ cd /opt/hive/lib/php/packages/$ mv hive_service hive_service.bak$ mv hive_service.bak/hive_service ./$ cd /opt/hive/lib/php/packages/queryplan/queryplan$ cp queryplan_types.php ../$ cd /opt/h原创 2013-08-21 13:08:51 · 3769 阅读 · 1 评论 -
Hadoop应用案例
1. 腾讯大规模Hadoop集群实践http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop转载 2014-02-20 18:00:46 · 584 阅读 · 0 评论 -
监控工具
* Ganglia原创 2014-02-21 10:46:46 · 574 阅读 · 0 评论 -
hadoop不同版本环境搭建集合
对于hadoop版本不一样,搭建环境也不一样,这里给大家总一下,以免帮助大家更好的学习hadoop.hadoop 1.2.0测试环境搭建 1:规划oracle linux6.4上搭建hadoop1.2.0环境192.168.100.171 linux1 (namenode)192.168.100.172 linux2 (secondarynamenode)192.168.10转载 2014-02-11 11:03:45 · 1141 阅读 · 0 评论 -
Hadoop增加节点比较
Ended Job = job_201312041522_1819MapReduce Jobs Launched:Job 0: Map: 291 Reduce: 1 Cumulative CPU: 1057.5 sec HDFS Read: 424247672 HDFS Write: 9 SUCCESSTotal MapReduce CPU Time Spent: 17 mi原创 2014-02-13 17:46:15 · 467 阅读 · 0 评论 -
Hadoop添加删除节点
添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave转载 2014-02-14 11:18:09 · 382 阅读 · 0 评论 -
Hadoop
FAILED: RuntimeException java.net.ConnectException: Call to vm1/172.16.64.128:8020 failed on connection exception: java.net.ConnectException: Connection refusedHive * 修改表* NameNodeht原创 2014-03-11 18:13:53 · 506 阅读 · 0 评论 -
Hadoop
http://www.superwu.cn/原创 2014-04-22 17:01:43 · 391 阅读 · 0 评论