Spark_Hadoop
文章平均质量分 79
slx_share
这个作者很懒,什么都没留下…
展开
-
Spark_Hadoop平台搭建
设置SSHSSH生成密钥,包括私钥id_rsa和公钥id_rsa.pub。私钥用来加密和数字签名,公钥用来解密。服务器间互相拥有对方的公钥,设置好SSH配置文件,即可实现Linux服务器间免密码登陆以及文件的安全传送。 1. 安装SSH,并启动SSH服务: systemctl start sshd.service 2. 生成密钥,存储路径为/root/.ssh: ssh-keygen -t...原创 2018-05-14 15:36:11 · 260 阅读 · 0 评论 -
Hadoop学习笔记
Hadoop分布式文件系统(HDFS):HDFS是一种用户空间文件系统,说白了就是管理文件的代码是运行在OS上的,使得文件系统易修改,安全灵活。同时是一种分布式存储文件的系统,这使得扩容非常方便,且数据不易丢失。基本数据块数据传送的基本元,简单地理解就是一次写入或读取的最大连续的数据块。数据块越大,IO耗费越低。hdfs默认是64M,可根据需要增大到128M,甚至1G。数据保护...原创 2018-06-24 10:10:47 · 361 阅读 · 0 评论 -
Spark学习笔记
原创 2018-09-23 10:44:05 · 585 阅读 · 0 评论 -
Win10系统搭建Spark环境
在Win10系统下搭建Spark环境,有助于初学者学习开发及调试Spark应用。软件包准备不同版本Spark与PySpark存在不兼容的情况,以下版本经本人测试是可行的。spark-2.3.3-bin-hadoop2.7hadoop-2.7.7winutilsjava1.8scala-2.12.8安装java及scala的安装就不用讲了,记得设置环境变量就行解压spark...原创 2019-04-18 15:10:02 · 450 阅读 · 0 评论