![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
lys沉淀人生
这个作者很懒,什么都没留下…
展开
-
hadoop集群节点 ssh免密登录配置
VMware中有两台centos客户机:hadoop1和hadoop2,在客户机hadoop1中通过如下命令登录hadoop2,将提示需要输入hadoop2客户机密码。$ ssh hadoop2如果要做到hadoop1无需输入密码就能ssh登录到hadoop2,需要将hadoop1的公钥注册到hadoop2客户机。具体操作如下:1、在hdoop1客户机执行如下命令,其中ly...原创 2019-09-14 11:40:03 · 655 阅读 · 0 评论 -
hadoop 完全分布式配置
1、客户机节点 (1) hadoop103 、hadoop104和hadoop105(VMware中虚拟机)。 (2)每台客户机新建用户:lys 登录密码:123123 ,确保一致。 (3)配置客户机静态ip地址 和主机名 主机名 ip ...原创 2019-09-14 21:42:00 · 150 阅读 · 0 评论 -
hive java api 操作(spring )
一、hive指定mapreduce任务队列set mapred.queue.names="队列名称"; 二、java api 操作hive pom.xml<dependencies> <dependency> <groupId>org.apache.hive</groupId> <ar...原创 2019-09-21 20:37:24 · 374 阅读 · 0 评论 -
hadopp集群启动命令
1、集群启动方式1)单独启动hdfs组件: Hadoop-daemon.sh start nameNode(dataNode) Hadoop-daemon.sh stop nameNode(dataNode)注:先启动nameNode,再启动dataNode;关闭顺序则相反,先关闭dataNode,再关闭nameNode。 Yarn_daemon.sh start reso...原创 2019-09-29 16:53:18 · 258 阅读 · 0 评论 -
hive 并行执行多条sql出现 return code 2等异常
一、hive并行执行多条sql(聚合)出现如下异常使用的是1.1.0版本的hive-jdbc 所执行的sql包含: select count(1) from xxx 、 load 、insert等操作异常1:org.springframework.dao.DataAccessResourceFailureException: ConnectionCallback; SQL [...原创 2019-10-09 21:13:04 · 6273 阅读 · 0 评论 -
HDFS 文件系统和常用命令
一、HDFS 概念1、HDFS 是一个分布式文件系统。适合一次写入,多次读出的场景,不支持文件修改;适合用来做数据分析,但不适合用来做网盘。2、 由namenode 、datanode和secondarynamenode组成。3、Name负责管理整个文件系统的元数据,及每个文件对应的数据块信息。4、datanode负责管理文件数据块,且一个文件数据块可能存在多个datanode中。5、s...原创 2019-10-03 15:42:13 · 447 阅读 · 0 评论