- 博客(4)
- 收藏
- 关注
RSS订阅原创 搭建大数据分析平台（JAVA环境配置）
搭建大数据分析平台（JAVA环境配置）当前的大数据分析任务主要采用Hadoop和Spark相结合作为运行平台,其中Spark利用HDFS作为大数据分析输人源以及利用YARN作为Spark分析任务的资源调度器。本节主要从实践的角度讲述如何结合大数据分析工具进行大数据分析，所讲解的例子既可以使用Hadoop,也可以使用Spark,因为相关的丽数调用上述两种大数据系统都可以实现。为了不再增加部署Spark的麻烦,本节主要采用Hadoop作为运行环境，下面讲述Hadoop等的安装。http://www.orac
2020-12-22 10:32:05
1301
1
原创 Hadoop平台搭建和大数据分析-SSH免密登陆
Hadoop平台搭建和大数据分析-SSH免密登陆SSH免密登陆1、执行命令sudo apt-get install openssh-server安装软件包报错 更新安装包重新安装安装ssh时出现软件包 openssh-server 还没有可供安装的候选者错误错误如下：sudo apt-get install opensshserver正在读取软件包列表...完成正在分析软件包的依赖关系树正在读取状态信息...完成现在没有可用的软件包 openssh-server，但是他被其他的软件包
2020-12-03 10:47:43
413
1
原创 Hadoop平台搭建和大数据分析-网络配置
Hadoop平台搭建和大数据分析Hadoop概念简介Hadoop是由Apache研发的开源分布式基础架构，它由Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)及一些相关项目组成。其中,HDFS具有高容错性，负责大数据存储;MapReduce则负责对HDFS中的大量数据进行复杂的分布式计算。其中，HDFS 具有高容错性，负责大数据存储:MapReduce则负责对HDFS中的大量数据进行复杂的分布式计算。Hadoop作为分布式架构，采用“分面治之”的设计思想:将大量数据分布式地存
2020-12-03 09:30:40
619
原创 Win 10 环境配置VirtualBox安装Ubuntu
HadoopHadoop简介Hadoop是由Apache研发的开源分布式基础架构，它由Hdopp内核MopRdre.Hadoop分布式文件系统(HDFS)及-些相关项目组成。其中，HDFS 具有高容错性，负责大数据存储:MapReduce则负责对HDFS中的大量数据进行复杂的分布式计算。Hadoop作为分布式架构，采用“分面治之”的设计思想:将大量数据分布式地存放于大量服务器上，采用分治的方式对大数据进行分析。在这种思想的驱使F ,Hadoop实现了MapReduce的编程范式。其中,“Mp”意为映射，
2020-12-03 08:43:11
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人