Hadoop
漫步_白桦林
这个作者很懒,什么都没留下…
展开
-
05_Hadoop配置免密SSH远程登陆
在linux系统上,可以通过ssh命令实现不同机器间的远程登陆和访问。远程登陆命令:SSH slave1即可登陆slave1,但需要输入密码。登陆成功后,可通过exit退出远程机器。进行ssh免密登陆设置1、通过cd命令返回系统根目录2、在系统跟目录下存在.ssh目录,该目录为隐藏目录,在ls命令中,看不到。3、进入.ssh目录 .ssh的目录结构原创 2018-02-02 14:53:09 · 373 阅读 · 0 评论 -
10_hadoop之hive
什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 - 本质是将SQL转换为MapReduce程序Hive的特点•可扩展Hive可以自由的扩展集群的规模,一般情况下不需要重启服务•延展性Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数•容错良好的容错性,节点出现问题SQL仍原创 2018-02-05 13:26:43 · 233 阅读 · 0 评论 -
07_配置Yarn和MapReduce
Yarn和MapReduce1 对master上的hadoop/etc/hadoop下的hdfs-site.xml做如下配置dfs.replication3dfs.permissionsfalse对所有的master的yarn-site.xml做如下配置yarn.resourcemanager.hostnamemaster原创 2018-02-03 22:02:07 · 357 阅读 · 0 评论 -
08_运行hadoop提供的示例程序
通过上篇文章,我们已经搭建好了整个hadoop体系。我们都知道,hadoop由三大组建:(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager(3)MapReduc原创 2018-02-04 16:32:10 · 304 阅读 · 0 评论 -
06 _使用命令在hadoop的HDFS中存储文件
存储命令: hadoop fs -put ./hadoop-2.7.5.tar.gz /其中: ./hadoop-2.7.5.tar.gz 要存储的目标源文件/ 文件的存储的目标地址查看文件命令: hadoop fs -ls原创 2018-02-02 15:21:49 · 496 阅读 · 0 评论 -
02_Hadoop集群环境的建立
上一篇文章中,已经明确的搭建了Hadoop的四台虚拟环境。在这里我将ssh工具有xshell换成了SecureCRT,使用方式和XShell,操作是一样的。启动所有的虚拟机器。由于是克隆产生的,所以,所有的机器环境都是相同的。启动所有的虚拟机,并启动SecureCRT,建立Session会话。为了便于操作,将四个会话的窗口进行如图的排列为了保证机器间的正常通信,关闭所有的防原创 2018-02-01 19:05:29 · 209 阅读 · 0 评论 -
01_Hadoop环境搭建
Hadoop环境搭建环境:VMware® Workstation 14 ProCentos7.0Hadoop 2.7.5Xshell6jdk8.0一、搭建Hadoop虚拟主机1 创建虚拟机,命名位master(需要linux基础,和虚拟机使用基础)2 上传jdk 、Hadoop2.7.53 安装jdk4 验证jdk安装是否正确:原创 2018-02-01 15:20:41 · 224 阅读 · 0 评论 -
03_Hadoop架构
hadoop的集群架构如下图所示:HDFS架构:1 启动所有的hadoop(master,slave)master:hadoop-daemon.sh start namenodeslave:hadoop-daemon.sh start datanode2 在master上查看集群架构:hdfs dfsadmin -report | m原创 2018-02-02 12:53:16 · 175 阅读 · 0 评论 -
04_hadoop集群的集中管理
当我们的集群数量比较多的时候,那么对集群的管理,就变得异常复杂了。因此我们需要采取对整个集群采取集中管理的方式。1 配置master主机进入/usr/local/hadoop/etc/hadoop目录,查看当前目录2 编辑slavesvi slaves将当前所有的slave,编辑之后如下图所示此时就可以通过master操作当前集群中的所有机器。关闭所原创 2018-02-02 14:16:11 · 255 阅读 · 0 评论 -
09_java访问Hadoop的HDFS
项目说明:本项目基于maven jdk8《POM.xml》<?xml version="1.0" encoding="UTF-8"?><project> <modelVersion>4.0.0</modelVersion> <repositories> <repository>原创 2018-06-18 21:25:39 · 432 阅读 · 0 评论