Hadoop
文章平均质量分 56
lqf1403
勤学如春起之苗,不见其长,日有所增。辍学如磨刀之石,不见其损,日有所亏。
展开
-
IntelliJ IDEA 快捷键和设置
IntelliJ IDEA 快捷键和设置1、实用快捷键:Ctrl+/ 或 Ctrl+Shift+/ 注释(// 或者/…/ ) Ctrl+D 复制行 Ctrl+X 删除行 快速修复 alt+enter (modify/cast) 代码提示 alt+/ ctr+G 定位某一行 Shift+F6 重构-重命名 Ctrl+R 替换文本 Ctrl+F 查找文本Ctrl+E 最近打开的文件转载 2015-10-18 11:35:20 · 899 阅读 · 0 评论 -
Hadoop作业提交与停止命令
1. 作业提交命令 jarhadoop jar <jar> [mainClass] args.. 表示 jar 包名 mainClass 表示 main class 名称,可以不必输入而由 jar 命名自动搜索 args 是 main class 输入参数 bin/hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test转载 2016-03-06 15:46:11 · 15091 阅读 · 0 评论 -
Hadoop-2.5.0-cdh5.3.2 HA 安装
Hadoop-2.5.0-cdh5.3.2 HA 安装转载 2016-03-04 21:46:35 · 917 阅读 · 0 评论 -
hadoop配置Mapreduce job日志
1.你需在 mapred-site.xml 中对其进行配置,并分发到整个集群<property><name>mapreduce.jobhistory.address</name><value>0.0.0.0:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>0.0原创 2016-03-04 21:19:13 · 1965 阅读 · 0 评论 -
解决关闭Hadoop时no namenode to stop异常
解决关闭Hadoop时no namenode to stop异常问题描述部门的Hadoop集群运行有一个多月了,今天需要做点调整,但是突然发现Hadoop不能正常关闭!Hadoop版本:2.6.0具体情况如下:[root@master ~]# stop-dfs.shStopping namenodes on [master]master: no转载 2016-03-04 21:02:09 · 15519 阅读 · 0 评论 -
hadoop集群启停命令
启动脚本 脚本说明 启动脚本 脚本说明 start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTra原创 2016-03-04 20:54:41 · 10347 阅读 · 0 评论 -
hadoop启动失败的可能原因
有可能是在root用户下启动了hadoop集群,后者root用户启动的进程没有完全关闭。然后又到hadoop用户下去启动集群,此时某些进程的端口可能被占用,导致启动失败。原创 2016-03-04 20:53:02 · 1891 阅读 · 0 评论 -
hadoop HDFS常用文件操作命令
原文链接:http://blog.csdn.net/jjfnjit/article/details/45093129 命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local转载 2015-12-23 11:42:56 · 1277 阅读 · 0 评论 -
MapReduce和YARN的关系
YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能于一身,而在MRv2中,将这两部分分开了, 其中,作业管理由转载 2015-11-30 21:33:00 · 5880 阅读 · 0 评论 -
Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/user/
// pickup config files off classpath Configuration conf = new Configuration() // explicitely add other config files // PASS A PATH NOT A STRING! conf.addResource(new Path(“/home/hadoop/conf/cor原创 2015-11-23 22:31:56 · 1554 阅读 · 0 评论 -
mapreduce任务失败、重试、推测式执行机制小结
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定义了一套自己的处理方式。 首先要明确的是mapreduce判断任务失败的方式。三种情况下任务会被认为执行失败:返回非0值、产生java异常、超时(长时间没响应)。对于第一种,通常用于strea转载 2015-11-30 14:43:19 · 2669 阅读 · 0 评论 -
在eclipse上安装hadoop2.2.0插件
1、安装环境系统:centos6.5 hadoop2.2.0 eclipse:mars.1Release(4.5.1)2、插件的安装下载hadoop2.2.0的eclipse插件,解压之后放到eclipse的plugin目录下,重启eclipse。3、配置hadoop installation directory如果安装插件成功,打开Window–>Preferens,你会发现Hadoop Ma原创 2015-10-31 21:48:25 · 2114 阅读 · 0 评论 -
Hbase-1.1.2完全分布式安装教程
Hbase-1.1.2完全分布式安装教程安装环境说明: 现有三台服务器,已经搭建了一个hadoop集群,master:master1,slaves:pc2,pc3。1、去官网下载Hbase的安装包,http://apache.claz.org/hbase/stable/ tar -zxvf hbase-1.1.2-bin.tar.gz 将下载的hbase安装包解压2、配置hbase2原创 2015-11-01 18:31:24 · 7213 阅读 · 2 评论 -
Hive与Hbase的区别
以下 由网上内容 整理:Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hiv转载 2015-10-31 15:41:59 · 791 阅读 · 0 评论 -
Hbase-1.1.2 HRegionServer全部挂掉的报错信息图片及解决办法
集群环境:三台机器,每台2g内存,安装了handoop2.2.0,Hbase1.1.2.数据源:4G的tar.gz包,里面是zip包,zip包里面是txt文件。压缩包解析、插入habse代码已经用java实现了插入habse–java代码Configuration cfg = HbaseConfiguration.create();Connnection conn = ConnectionFact原创 2015-11-08 17:05:51 · 1644 阅读 · 0 评论 -
SSH免密码登录
SSH免密码登录在搭建hadoop开发环境时,需要在集群中的机器之间配置ssh免密码登录。 现有三台服务器:master1、pc2、pc3,用户均为hadoop2。需要实现master1免密码登录pc2、pc3,master1免密码登录master1。1、在服务器上生存公钥用户hadoop2用户登录三台服务器,分别执行ssh-keygen -t rsa 执行之后会在用户的家目录下生成一个.s原创 2015-10-13 10:25:34 · 746 阅读 · 0 评论 -
使用IntelliJ IDEA编写SparkPi直接在Spark中运行
使用IntelliJ IDEA编写Scala在Spark中运行环境说明:hadoop-2.2.0+spark-1.1.0 hadoop是完全分布式,spark是standalone。在master节点master1上安装了IntelliJ IDEA。1、开启spark进入到spark的sbin目录,./start-all.sh命令开启spark。 注意:因为演示的是SparkPi demo,无需原创 2015-10-26 11:55:17 · 7676 阅读 · 0 评论 -
Hadoop YARN配置参数剖析
本文部分转自 Hadoop YARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 Hadoop YARN中内存的设置一 ResourceManager 相关配置参数1 通信配置参数2 调度器配置参数3 内存和 CPU 配置参数二 NodeManager 相关配置参数1 内存与 CPU 配置参数1 日志配置参数3 运行配置参数三 Hadoop转载 2016-03-10 14:20:28 · 4102 阅读 · 0 评论