- 博客(2)
- 收藏
- 关注
原创 搭建伪分布式并安装scale和spark
1.查看id 地址2、 关闭防火墙命令来关闭防火墙命令查看当前防火墙状态3、 修改主机名、 添加主机映射修改虚拟机hosts文件,将ip地址添加进来能ping通就修改成功4、 设置免密(这里是伪分布式不是完全分布式,只需要能免密自己,此步骤也可以忽略)○1打开SSH远程登录配置文件sshd_config然后重启服务○2生成密钥回车四下○3authorized_keys文件存放自己和目标的公钥,要自己手动复制文件,命令如下:修改文件"authorized_keys权限。
2024-04-25 17:38:45 1011 4
原创 何为Hadoop生态圈
1 高容错和高可用性,硬件错误是常态而不是异常2流式数据访问3弹性存储,支持大规模数据集HDFS支持大文件存储,典型的文件在GB甚至TB级别,可以支持数以千万计的大规模数据集。根据业务的需要灵活的增加或者缩减存储节点。弹性存储的最大挑战是减少在修改存储节点时的数据震荡问题。4简单一致性模型HDFS文件实行一次性写、多次读的访问模式,设计为文件一经创建、写入和关闭后就不需要再更改了,这种设计和假定简化了数据一致性的问题,提高吞吐量成为了可能,但是现在可以通过设置一些参数进行追加。
2024-03-07 17:34:49 695
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人