Hadoop
文章平均质量分 69
Lee_Sung
这个作者很懒,什么都没留下…
展开
-
Hadoop常见问题
本文摘自简书,gk4030 的文章《个人总结:在大数据hadoop路上跳过的坑》 环境说明: CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.4.1.tar.gz hbase-0.98.3-hadoop2-bin.tar.gz jdk-7u79-linux-x64.tar.gz scala-2.10.4.tgz spark-1.2.0-bin-hadoop转载 2016-11-03 18:28:48 · 4751 阅读 · 0 评论 -
关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件,那么,要在所有的节点都有这个数据文件,只在master中有这个数据文件时执行程序时一直报找不到文件解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。解决方式2:直接将数据文件上传到hd原创 2018-01-22 11:23:59 · 1369 阅读 · 0 评论 -
关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件,那么,要在所有的节点都有这个数据文件,只在master中有这个数据文件时执行程序时一直报找不到文件解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。解决方式2:直接将数据文件原创 2018-01-22 11:23:05 · 3527 阅读 · 0 评论 -
Zookeeper集群搭建
Zookeeper集群搭建下载安装配置1zoocof文件配置2zkEnvsh文件配置分发到其他节点并创建myid文件启动测试总结Zookeeper集群搭建我们下面的操作,都在hadoop用户下进行,也要保证安装目录所属和权限开放(依然是chown命令和chmod命令,参照Hadoop全分布集群搭建(3)——Hadoop安装与配置)。节点情况在Hadoop全分布集群搭建(1)——设置主原创 2017-05-18 17:36:22 · 1466 阅读 · 2 评论 -
Hadoop全分布集群搭建(3)——Hadoop安装与配置
Hadoop全分布集群搭建3Hadoop安装与配置安装JDK安装配置HadoopHadoop全分布集群搭建(3)——Hadoop安装与配置前期准备工作要完成: Hadoop全分布集群搭建(1)——设置主机名与域名解析 Hadoop全分布集群搭建(2)——SSH免密码登1.安装JDK安装jdk的过程这里不再赘述,先卸载原带的,然后装sun jdk,修改/etc/profile文件来更新环境变原创 2017-05-15 20:25:12 · 1136 阅读 · 0 评论 -
Hadoop全分布集群搭建(2)——SSH免密码登陆
Hadoop全分布集群搭建SSH免密码登陆为所有节点设立用户hadoopMaster节点免密登录生成并上传公钥Mster与Slave节点之间免密登录Hadoop全分布集群搭建——SSH免密码登陆紧接着上篇讲,设置完主机名和域名解析之后,hadoop需要通过ssh登陆到各个节点操作,一般情况下,我们为了安全,不会直接用root身份进行hadoop环境搭建,因此设立一个新的用户。按照以下步骤。1原创 2017-05-12 10:23:11 · 1159 阅读 · 0 评论 -
Hadoop全分布集群搭建(1)——设置主机名与域名解析
Hadoop全分布集群搭建设置主机名与域名解析1各个节点主机名修改2 设置各个节点的域名解析Hadoop全分布集群搭建——设置主机名与域名解析1.1各个节点主机名修改为了方便起见,一般我们需要修改各节点的主机名hostName,这样有助于我们区别该节点电脑的身份。默认安装后所有节点的系统内hostName都是localhost.localdomain。我们将各节点的HostName改为如下方案原创 2017-05-11 16:50:42 · 6826 阅读 · 0 评论 -
Hadoo伪分布搭建
一、环境CentOS 6.5Jdk 1.8选择CentOS6.5是因为该系统相对比较稳定,很多服务也以在系统安装的时候附带安装好。但是系统安装时会自带open JDK,这里我们需要安装sun JDK。此外,我们搭建的是伪分布,所有的操作都是在root用户下进行的。注意:在centos系统安装时,如果指定了主机名,在后面hadoop的namenode格式化时可能会出现错误。(当时出现的错误是Shu原创 2016-11-03 19:31:02 · 767 阅读 · 0 评论 -
Scala与MapReduce开发的IDE插件
Scala与MapReduce的开发需要有一个IDE支持才更方便,本文介绍两个Eclipse插件,方便在Eclipse上开发Scala程序和MapReduce程序。一、 系统环境CentOS 6.5 JDK 1.8 Hadoop 2.6.0 Spark 1.6.0 Scala 2.10.4二、 Eclipse的安装我们这里选择的版本是eclipse-java-juno-SR2-linux,即原创 2016-11-03 21:42:01 · 2057 阅读 · 0 评论 -
常见hdfs操作
常见的HDFS操作命令Hadoop版本2.6.0,命令均在Hadoop-2.6.0/bin目录下操作1、创建目录命令格式:hadoop fs -mkdir [目录名]Eg.:hadoop fs -mkdir /input #在根目录下建立名为input的目录2、上传文件命令put命令从本地文件系统中复制单个或多个源路径到目标文件系统,也支持从标准输入设备中读取输入并写入目标文件系统。分为本地上传和原创 2018-01-22 14:27:12 · 492 阅读 · 0 评论