hadoop
lovemelovemycode
大家好,我是王茂军,来自北京中关村的一名程序员。希望和大家一起交流、一起成长。我关注的东东:linux\JAVA\Hadoop\scala\spark.为大数据在气象领域的落地贡献自己的力量。
展开
-
关注记录,避免以后忘记
讲述hadoop配置的一篇文章 http://space.itpub.net/7301064/viewspace-717503原创 2012-06-24 18:41:23 · 526 阅读 · 0 评论 -
hadoop学习过程中用到的一些命令
1 ubuntu12 下如何打开终端:CTRL+ALT+t 2 ubuntu12 下查看JAVA_HOME环境变量:echo $JAVA_HOME 3 解压压缩文件:tar -xzvf hadoop-1.0.1.tar.gz 4 文件编辑命令:sudo gedit hadoop_env.sh 5 格式化文件系统命令:bin/hadoop namenode -format 6 查看 系统原创 2012-06-24 18:38:51 · 912 阅读 · 0 评论 -
hadoop 使用记录
hadoop使用过程中出现了很多错误,现在记录一下,对自己做个总结,也希望对看到的人有些帮助。 1 执行bin/stop-all.sh的时候发现no datanode ....解决方法,配置完hadoop:执行bin/hadoop namenode -format 之后还需要执行bin/hadoop datanode -format原创 2012-10-21 13:56:11 · 1054 阅读 · 2 评论 -
CDH功能简介
CDH:一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装。CDH有企业版和免费版,下面介绍一下免费版可以使用的功能: 1 可以使用的组件 HDFS ,MapReduce,Hive,hue,impala,oozie,sqoop,zookeeper,hbase 2 集群管理可以使用的功能 节点的启动、停止、添加;可以创建管原创 2013-08-20 22:29:53 · 3491 阅读 · 0 评论 -
hadoop集群环境搭建
1 hadoop集群规划 1.1 共有A、B、C 三台机器; 1.2 A 作为master,B作为slave1,C作为slave2; 1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101; 1.4 OS:centos6.2(64bit) 2 hadoop集群搭建步骤 2.1原创 2013-06-23 10:26:51 · 1757 阅读 · 0 评论 -
InfoSphere BigInsights 安装部署
InfoSphere BigInsights 有三个版本:基础版、企业体验版、企业版。基础版是免费的,但是少了一些功能;企业体验版是在购买企业版之前又来体验测试的;如果要部署企业版,应该购买企业版。安装部署的基本过程:下载安装包(安装包中有个README.txt,里面有两个网址,一个是环境要求,一个安装过程)、准备部署环境、部署。 这里针对basic版2.1的安装进行介绍: 1 下载安装包ii原创 2013-08-20 14:26:38 · 3465 阅读 · 5 评论 -
sqoop使用例子
简介: sqoop是工具,一个可以把ORACLE、MYSQL中的数据导入到HDFS、HIVE、HBASE中(反过来也可以)的工具。下面是一些使用的例子。留下做个参考: #从Mysql中抽取数据到HDFS.问题:文件太多,全他妈是小文件;目标目录如果已经存在会报错 sqoop import --connect jdbc:mysql://10.10.244.137/test --username原创 2014-11-08 13:25:39 · 2138 阅读 · 0 评论