hadoop
文章平均质量分 69
mm_bit
这个作者很懒,什么都没留下…
展开
-
java打包jar文件,在hadoop中运行
在eclipse中编写完hadoop程序后,运行无错,使用eclipse自带的打包工具打包jar文件,具体步骤如下:1、右键要打包的包或者类,export->java中的可运行jar文件Runnable JarFile,然后一直下一步,注意为了不出错,把依赖的包也打包进去,所以后面选择Package required labiries into generated jars,选择你要保存jar原创 2015-11-03 16:57:55 · 8226 阅读 · 0 评论 -
Intellij连接远程hadoop
环境:服务器:CentOS6.6 Hadoop-2.7.2client端:windows10:开发工具:intellij IDEA前期准备:需要在windows平台下载hadoop-2.7.2的bin包,并且解压到本地目录,我的是在E:\hadoop-2.7.2\hadoop-2.7.2,具体如下:1、在intellij中创建一个maven project flie-原创 2016-08-04 15:36:55 · 10174 阅读 · 0 评论 -
hadoop常用命令汇总
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容Hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件转载 2016-08-04 11:05:32 · 782 阅读 · 0 评论 -
hbase错误:Org.apache.hadoop.ipc.RemoteException:User:client is not allowed to impersonate root
场景:远程登录配有Kerberos的hbase的时候,client端用到的kerberos的principal是client/mj1@BDSM.CMCC错误:Org.apache.hadoop.ipc.RemoteException:User:clientis not allowed to impersonate root;解决方法:在hadoop的配置文件core-site.xm原创 2016-07-29 10:57:06 · 5168 阅读 · 0 评论 -
Hbase安装
环境:CentOS6.5 Hadoop2.7.2 HBase1.2.11.安装好 hadoop 集群,并启动 [grid@hadoop4 ~]$ sh hadoop-2.7.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.7.2/sbin/start-yarn.sh 查看 hadoop 版本: [grid@hadoop原创 2016-04-19 19:19:39 · 1288 阅读 · 0 评论 -
HBase中的HMaster、HRegionServer、Zookeeper
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.Hbase每时每刻只有一个hmaster主服务器程序在运行,hmaster将region分配给region服务器,协调region服务器的负载并维护集群的状态。Hmaster不会对外提供数据服务,而是由region服原创 2016-05-03 16:00:44 · 10092 阅读 · 0 评论 -
HBase优化技巧、存储
这篇文章浅显的从几个方面谈谈HBase的一些优化技巧,只能作为我学习笔记的一部分,因为学多了怕忘,留给自己以后看看。1 修改 linux 系统参数Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行,你可以用ulimit -n 命令进行修改,或者修改/etc/se转载 2016-03-21 18:14:14 · 1986 阅读 · 0 评论 -
HBase深入学习(2)
HBase读的实现通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们先来分析一下相同的Cell可能存在的位置:首先对新写入的Cell,它会存在于转载 2016-03-21 17:20:54 · 525 阅读 · 0 评论 -
Hadoop知识点总结
之前自己在慕课网在线学习了关于hadoop的初步知识,在此记录一下:hadoop主要是由两部分构成:1、HDFS,负责存储,为分布式文件系统;2、MapReduce,是并行处理框架,用于实现任务的分解和调度。hadoop的优势:1、高扩展:通过添加硬件来实现性能的提升,扩充容量。2、低成本:只需要普通PC机即可,不需高端硬件。3、成熟的生态圈:周边开源工具丰富:有Hive、HBase(其中原创 2015-12-07 11:26:22 · 1919 阅读 · 0 评论 -
spark和hadoop的区别
spark的结构图如下:一个Application和一个SparkContext相关联,每个Application中可以有一个或多个Job,可以并行或者串行运行 Job。Spark中的一个Action可以触发一个Job的运行。在Job里面又包含了多个Stage,Stage是以Shuffle进行划分的。在 Stage中又包含了多个Task,多个Task构成了Task Se原创 2015-12-21 17:39:44 · 2292 阅读 · 0 评论 -
linux下Hadoop在Eclipse的配置和使用
安装 Hadoop-Eclipse-Plugin下载 hadoop2x-eclipse-plugin ,将 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar (虽然标注的是 2.2.0,但在 2.6.0 下是没问题的,应该在 2.x 版本下都可以)复制到 Eclipse 安装目录的 plugin 文件夹中,运行 eclipse -cle转载 2015-11-01 20:25:38 · 4088 阅读 · 2 评论 -
hadoop估算π
一、hadoop不适合计算密集型的工作 以前看过一个PPT: Hadoop In 45 Minutes or Less ,记得上面说hadoop不适合计算密集型的工作,比如计算PI后100000位小数。 但是,前几天,我却发现了在hadoop自带的examples里,竟然有PiEstimator这个例子!!它是怎么做到的?? 二、通过扔飞镖也能得出PI的值?转载 2015-11-17 17:40:36 · 2079 阅读 · 0 评论 -
DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command f
安装hadoop-2.6.1, 执行命令./hadoop namenode format是出现DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.原来从此版本以后,hadoop 命令换成了hdfs命令,上面的命令如同下面的命令原创 2015-10-28 21:34:06 · 10668 阅读 · 0 评论 -
Linux下Hadoop2.6的安装
linux:安装流程:1、安装JDK,要求是jdk1.6及其以上的版本:以jdk-8u40-linux-x64.gz为例,在你的java下载目录下sudo tar -zxvf jdk-8u40-linux-x64.gzsudo mv hadoop-2.6.0 /usr/local/jdk1.8.0_40 然后sudo gedit /etc/profi原创 2015-10-28 11:23:06 · 2121 阅读 · 0 评论