![](https://img-blog.csdnimg.cn/148537f8c53e4c8080b072ca6f00f0da.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据课程学习
文章平均质量分 53
包含数据清洗与挖掘、spark、hadoop
outside-R
这个作者很懒,什么都没留下…
展开
-
Hadoop(二)--SSH免密认证
三、Hadoop的基础是分布式文件系统HDFS,HDFS集群有两类节点以管理者-工作者的模式运行,即一个namenode(管理者)和多个datanode(工作者)。在Hadoop启动以后,namenode通过SSH来启动和停止各个节点上的各种守护进程,这就需要在这些节点之间执行指令时采用无需输入密码的认证方式,因此,我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。在master上配置SSH【远程】无密码登录(1)使用ssh-keygen产生公钥与私钥对。 输入命令“【ssh-k原创 2021-10-24 21:15:07 · 298 阅读 · 0 评论 -
Hadoop(一)--涉及到的Linux操作系统命令
一、基本命令(1)查看当前目录pwd命令用于显示当前目录:[root@master ~]# pwd/root(2)目录切换cd命令用来切换目录:[root@master ~]# cd /usr/cstor[root@master cstor]# pwd/usr/cstor(3)文件罗列ls命令用于查看文件与目录:[root@master cstor]# ls(4)文件或目录拷贝cp命令用于拷贝文件,若拷贝的对象为目录,则需要使用-r参数:[root@master cst原创 2021-10-24 14:38:03 · 1975 阅读 · 1 评论 -
Hive系统配置及数据导入--【导入csv文件】
1、安装Hadoop环境、并安装Hive。(1)方法一(使用官方教程安装)①按照之前的课程或者官方文档安装Hadoop环境(单节点)https://hadoop.apache.org/docs/r2.10.1/hadoop-project-dist/hadoop-common/SingleCluster.html②按照官方文档安装Hive2https://cwiki.apache.org/confluence/display/Hive/GettingStarted(2)方法二(使用已有的Hive原创 2021-10-22 12:01:49 · 2957 阅读 · 0 评论