- 博客(5)
- 收藏
- 关注
RSS订阅原创 (续)Hadoop相应组件的搭建
ZooKeeper 的安装包 zookeeper-3.4.8.tar.gz 已放置在 Linux 系统 /opt/software目录下。解压安装包到指定目标，在 Master 节点执行如下命令。
2024-04-28 17:14:46
918
1
原创 Spark单机版集群及相应组件的搭建
进入解压后的Spark安装目录的/conf目录下，复制spark-env.sh.template文件并重命名为spark-env.sh。通过命令“jps”查看进程，如果既有Master进程又有Worker进程，那么说明Spark集群启动成功。进入Spark安装目录的/bin目录，使用SparkPi计算Pi的值。将Spark安装包解压至Linux的/usr/local目录下。进入vi /etc/profile文件。source一下使生效，检查是否可用。启动spark-shell。设置 JAVA 环境变量。
2024-04-23 20:11:14
317
2
原创 Hadoop单机伪分布式及相应组件的搭建
具体配置请查看：搭建Hadoop准备工作：网络配置、修改主机名、修改网络映射、Ping外网、连接xshell网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0vi /etc/sysconfig/network-scripts/ifcfg-eth0注意：CentOS7和8里面，网络配置文件为：/etc/sysconfig/network-scripts/ifcfg-ens33主机名配置文件 /etc/sysconfig/network，修改HOSTNAME=主机名
2024-04-23 18:34:19
777
原创 Hadoop完全分布式及相应组件的搭建
分别命名为master、slave1、slave2，然后使用bash命令刷新一下，最后使用hostname命令查看是否修改成功。
2024-04-22 17:41:22
855
原创 高冷学霸给我送了一周早餐竟是为了...我的Spark笔记？！！
速度快：由于ApacheSpark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍易使用：Spark的版本已经更新到了Spark3.1.2（截止日期2021.06.01），支持了包括Java、Scala、Python、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。
2024-03-07 22:39:51
962
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人