hadoop
owen-li
这个作者很懒,什么都没留下…
展开
-
HBase配置web界面
为了学习个Hbase,所有的配置都正常,也能正常启动,但就是访问不到web界面。用某老师的话说,这就有点闹心了哈!仔细一看原来版本不一样,1.0.1版本的hbase的master web 默认是不运行的,所以需要自己配置默认端口。 在hbase-site.xml中加入一下内容即可 hbase.master.info.port60010每台机子都加一下,然后重启hbase即原创 2017-04-13 08:30:44 · 45916 阅读 · 0 评论 -
hadoop-2.6.0下hive-1.2.2安装与配置
1集群组成集群建设与centos7上ServerNameHadoop ClusterZookeeperHBase Clusterserver1Name node & Resource manager,secondary name nodeyesmasterserver2Data node & Node manager原创 2017-05-13 22:15:39 · 1218 阅读 · 0 评论 -
hadoop退出安全模式
Hadoop为了防止数据丢失,启动了“安全模式”的设置,每次启动hadoop后一段时间内集群处于安全模式,该模式下集群会检查各节点文件块的记录,如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值(称为安全模式阀值,默认为0.999f),那么集群将持续处于安全模式,在该模式下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系原创 2017-05-13 21:23:46 · 4134 阅读 · 0 评论 -
ganglia监控hadoop集群配置
1:ganglia简介ganglia是UC Berkeley发起的一个开源集群监控项目,设计用于测量和监控数以千计的节点。主要是采用监控系统性能,如cpu,内存,硬盘使用率,I/O负载,网络流量情况等。ganglia采用多层次的结构模式,是的ganglia可以实现良好的扩展。gmond带来的负载非常少,这使得它成为在集群中各台计算机上运行的 一段代码,而不会影响用户性能。2:g原创 2017-04-21 16:45:59 · 3046 阅读 · 0 评论 -
centos下hadoop-2.6.0完全分布式搭建
一、Hadoop运行模式:Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境,通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。二、软硬件设备及安装前环境搭建:操作系统:CentOS 6.5软件版本:hadoop-2.原创 2016-07-15 23:40:47 · 13793 阅读 · 0 评论 -
hadoop源码编译环境安装配置
hadoop运行报错:在运行hadoop的时候,出现警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原因:hadoop官方编译的tar包是32位的,我们的系统是64位的,故原创 2016-07-19 10:56:12 · 2549 阅读 · 0 评论 -
hadoop常用命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容Hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在原创 2016-09-10 19:21:05 · 13534 阅读 · 0 评论 -
hadoop自带例子wordcount的具体运行步骤
1.在linux系统中,所在目录“/home/kcm”下创建一个文件夹input[ubuntu@701~]$ mkdir input2.在文件夹input中创建两个文本文件file1.txt和file2.txt,file1.txt中内容是“hello word”,file2.txt中内容是“hello Hadoop”、“hello mapreduce”(分两行)。[ub转载 2016-09-10 19:10:00 · 3256 阅读 · 0 评论 -
centos下hadoop2.7.1伪分布式搭建
Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境,通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。下面我们将搭建hadoop2.7.1伪分布式。可以按照官方文档进行安装。官方文档链接二、软硬原创 2016-09-13 20:58:03 · 3818 阅读 · 0 评论 -
hadoop 启动指令
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstart-dfs.sh 启动Ha转载 2017-03-22 15:23:12 · 1206 阅读 · 0 评论 -
eclipse远程连接hadoop-2.6.0
1:准备工作;工具:hadoop2-6.0 tar包eclipse连接hadoop的eclipse插件:hadoop-eclipse-plugin-2.6.0可以自行到官网下载,此处提供三者下载链接。百度云盘下载:链接:http://pan.baidu.com/s/1dFGIeXz 密码:j8sh2:下载hadoop2.6和eclipse解压到自己电脑硬盘。原创 2017-03-30 22:34:48 · 7804 阅读 · 1 评论 -
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi
eclipse远程连接hadoop2-6.0运行程序是报错:Exception in thread "main" Java.lang.UnsatisfiedLinkError: org.apache.Hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决方法设置环境变量 HADO原创 2017-03-30 23:01:05 · 11938 阅读 · 0 评论 -
eclipes远程连接hadoop 权限错误 Permission denied: user=root, access=WRITE, inode="/":hdfs:super
eclipse连接hadoop后运行报错,显示用户权限不够。17/03/30 21:14:29 WARN mapred.LocalJobRunner: job_local1761927032_0001org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, in原创 2017-03-30 23:33:49 · 2505 阅读 · 3 评论 -
hadoop2.6集群下Zookeeper与Hbase的安装与配置
1下载zookeeper-3.4.5.tar.gz,hbase-1.0.1.1.tar.gz安装包解压ZooKeeper安装包,并将解压后的文件夹名称改为zookeeper:(1) 上传ZooKeeper安装包到 /usr/local/hadoop-2.6.0/,我这里使用的是3.4.5版本:(2) 解压ZooKeeper安装包,并将解压后的文件夹名称改为zookeeper执行命令原创 2017-04-13 08:07:19 · 2478 阅读 · 1 评论 -
hadoop2.X如何将namenode与SecondaryNameNode分开配置
问题导读1.如何将namenode与SecondaryNameNode分开?2.SecondaryNameNode单独配置,需要修改那些配置文件?3.masters文件的作用是什么?我们这里假设你已经安装配置了hadoop2.2,至于如何配置可以参考,hadoop2.2完全分布式最新高可靠安装文档在这个基础上,我们对配置文件做一些修改:1.增加maste转载 2017-05-07 20:50:22 · 926 阅读 · 0 评论