- 博客(4)
- 收藏
- 关注
RSS订阅原创 伪分布式hadoop+spark+scala搭建
看见worker和master就说明spark集群启动成功。切换到spark安装目录的/sbin目录下。使profile文件更新生效。
2024-04-25 16:14:25
538
3
原创 Hadoop完全分布式集群搭建
另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。可以看出 HDFS 的数据保存在/usr/local/src/hadoop/dfs 目录下，NameNode、 DataNode和/usr/local/src/hadoop/tmp/目录下,SecondaryNameNode 各有一个目 录存放数据。这里使用第一种方法。
2024-04-21 18:46:28
2218
1
原创 hadoop伪分布式安装
在这个文件最后换行添加如下三行：vi /etc/profile # JDKexport JAVA_HOME=/opt/jdkexport PATH=$JAVA_HOME/bin:$PATH在这个文件最后换行添加如下三行：vi /etc/profile#HADOOPexport HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin进行免密登录需要安装ssh如果有openssh-clients、openss
2024-04-20 19:12:09
1125
2
原创 大数据技术Hadoop+Spark
MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。spark框架包含多个紧密集成的组件，包括Spark SQL（即席查询）、Spark Streaming（实时流处理）、Spark MLlib（机器学习库）、Spark GraphX（图计算）。如下图所示，并且spark支持在一个应用中同时使用这些组件。
2024-03-07 17:39:56
1690
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人