大数据
谭鹏_tp
之前一直是在简书写博客,百度收录太慢了...决定转移阵地
展开
-
Hadoop安装与集群配置
一、环境及软件说明1、虚拟机软件:Oracle VM VirtualBox2、系统镜像:CentOS-7-x86_643、JDK:jdk-8u121-linux-x64.tar.gz4、hadoop安装包:hadoop-2.7.3.tar.gz二、配置网络选用host-only网络vi /etc/sysconfig/networkNETWORKING=yes...原创 2018-11-01 22:17:24 · 111 阅读 · 0 评论 -
Hadoop安装与集群配置(二)
开机后将各个虚拟机的ip修改好之后,将三个节点的ip以及hostname都加上可以使用xshell的工具,将命令一次性发送到各个窗口。三台虚拟机必须一致准备工作完毕!开始集群配置配置core-site.xml在所有的节点上都应该修改/etc/hadoop/core-site.xml.注意:需要修改tmp目录,不然默认是linux的tmp目录,这样会出现意想不到的错误,因为linux重启...原创 2018-11-01 22:20:35 · 96 阅读 · 0 评论 -
Hadoop安装与集群配置(三)
在写文章之前,笔者先记录下昨天遇到的问题。我一共起了三台机器,在手动启动nn和dn的时候整个集群正常。但使用start-dfs.sh命令来启动的时候,若dn1启动,则dn2不启动,反之,dn2启动dn1不启动。手动启动未启动的那一台dn,整个集群恢复正常。start-dfs.sh只能带起来两台dn的其中一台dn。尝试若干办法无果,在配置ssh免密登陆后,发现,上述问题被解决。应该是密码验证问题...原创 2018-11-01 22:22:01 · 90 阅读 · 0 评论 -
Hadoop-HDFS之CRUD
启动集群确认集群正常后,我们使用Java来操作DFS所有节点均正常。Java连接HadoopMaven添加Hadoop依赖。依赖初始化链接:初始化Select:查询根目录下的文件查询结果Add:创建更多操作自行查看:...原创 2018-11-01 22:23:44 · 199 阅读 · 0 评论 -
hadoop基本知识点之HDFS
1.Hadoop组成Hadoop主要由三大模块组成:1.1 HDFS存储模块分布式文件存储系统提供了高可靠性、高扩展性和高吞吐率的数据存储服务hdfs典型结构:物理结构+逻辑结构1.2. YARN资源调配模块(引擎)(分布式资源管理框架)负责集群资源的管理和调度1.3. MapReduce计算引擎分布式计算框架(计算向数据移动–>移动计算而非移...原创 2018-11-01 22:25:11 · 224 阅读 · 0 评论 -
Hadoop之YARN的安装与测试
1.配置计算调度系统Yarn和计算引擎Map/Reduce1.1 配置mapred-site.xmlnamenode上配置mapred-site.xml,默认没有mapred-site.xml文件,只有一个模版文件mapred-site.xml.template拷贝一个重命名一下即可,cp mapred-site.xml.template mapred-site.xml然后配置以下内容:...原创 2018-11-01 22:27:59 · 753 阅读 · 0 评论