![](https://img-blog.csdnimg.cn/148537f8c53e4c8080b072ca6f00f0da.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据课程学习
文章平均质量分 53
包含数据清洗与挖掘、spark、hadoop
outside-R
这个作者很懒,什么都没留下…
展开
-
Hadoop(二)--SSH免密认证
三、 Hadoop的基础是分布式文件系统HDFS,HDFS集群有两类节点以管理者-工作者的模式运行,即一个namenode(管理者)和多个datanode(工作者)。在Hadoop启动以后,namenode通过SSH来启动和停止各个节点上的各种守护进程,这就需要在这些节点之间执行指令时采用无需输入密码的认证方式,因此,我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。 在master上配置SSH【远程】无密码登录 (1)使用ssh-keygen产生公钥与私钥对。 输入命令“【ssh-k原创 2021-10-24 21:15:07 · 306 阅读 · 0 评论 -
Hadoop(一)--涉及到的Linux操作系统命令
一、基本命令 (1)查看当前目录 pwd命令用于显示当前目录: [root@master ~]# pwd /root (2)目录切换 cd命令用来切换目录: [root@master ~]# cd /usr/cstor [root@master cstor]# pwd /usr/cstor (3)文件罗列 ls命令用于查看文件与目录: [root@master cstor]# ls (4)文件或目录拷贝 cp命令用于拷贝文件,若拷贝的对象为目录,则需要使用-r参数: [root@master cst原创 2021-10-24 14:38:03 · 1986 阅读 · 1 评论 -
Hive系统配置及数据导入--【导入csv文件】
1、安装Hadoop环境、并安装Hive。 (1)方法一(使用官方教程安装) ①按照之前的课程或者官方文档安装Hadoop环境(单节点) https://hadoop.apache.org/docs/r2.10.1/hadoop-project-dist/hadoop-common/SingleCluster.html ②按照官方文档安装Hive2 https://cwiki.apache.org/confluence/display/Hive/GettingStarted (2)方法二(使用已有的Hive原创 2021-10-22 12:01:49 · 2969 阅读 · 0 评论