![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 86
害死猫的酒馆
这个作者很懒,什么都没留下…
展开
-
hadoop3.X 安装实践
一、ssh免密登录 1、测试是否能免密登录 # ssh localhost The authenticity of host 'localhost (::1)' can't be established. 2、设置免密登录 1)、去掉 /etc/ssh/sshd_config中的两行注释,如没有则添加,所有服务器都要设置的: #RSAAuthentication yes #Pu...原创 2019-07-17 15:05:28 · 197 阅读 · 0 评论 -
hadoop学习笔记
hadoop文件 namenode: 存储元数据, 被分块保存的数据的信息,如大小,位置 datanode: 存储被分块的数据, path->hadoop/data/dfs/data(本地的实际地址) hadoop会建立一个虚拟的文件目录工客户端访问(hdfs://ip:9000/) HDFS实现思想 1. hdfs是通过分布式集群来存储文件, 为客户端提供了一个便...原创 2019-07-27 11:24:56 · 179 阅读 · 0 评论 -
在win7上安装spark实践
一、搭建的环境 windows7 spark-2.4.3 python-3.6.5 Java8 二、安装部署 1、安装Java/Jdk下载jdk-8u152-windows-x64.exe,根据安装指南进行安装,配置环境变量JAVA_HOME,在Path中添加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin,在CLASSPATH中添加%JAVA_HOME%\lib...原创 2019-08-16 18:03:58 · 669 阅读 · 1 评论