大数据
请叫我小叶子
一个低调的程序猿
展开
-
Hadoop集群的搭建
最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 本次基于hadoop-2.6.0-cdh5.8.0版本进行分布式配置。在此设置一个主节点和两个从节点。 准备3台虚拟机,分别为: 主机名 IP地址 master...原创 2019-06-25 11:36:17 · 246 阅读 · 0 评论 -
Hbase集群的搭建
最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 本次基于hbase-2.2.0-bin.tar版本进行分布式配置。在此设置一个主节点和两个从节点。 准备3台虚拟机,分别为: 主机名 IP地址 master ...原创 2019-06-25 14:25:37 · 238 阅读 · 0 评论 -
Zookeeper集群的搭建
最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 本次基于zookeeper-3.4.12.tar版本进行分布式配置。在此设置一个主节点和两个从节点。 准备3台虚拟机,分别为: 主机名 IP地址 master ...原创 2019-06-25 15:35:27 · 148 阅读 · 0 评论 -
Scala集群的搭建
最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 本次基于scala-2.11.1版本进行分布式配置。...原创 2019-06-25 16:03:52 · 554 阅读 · 0 评论 -
Kafka集群的搭建
最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 本次基于kafka_2.12-2.1.1版本进行分布式配置。在此设置一个主节点和两个从节点。 准备3台虚拟机,分别为: 主机名 IP地址 master ...原创 2019-06-25 16:49:36 · 295 阅读 · 0 评论 -
Spark集群的搭建
最近忽然要把大数据跟我们对接的项目接回来我们自己维护,不得不自己搭建一个大数据的集群环境,用来运行该项目。因此记录一下集群环境的搭建,免得以后需要再搭建。 一、架构说明 本次基于spark-2.4.3-bin-hadoop2.6版本进行分布式配置。在此设置一个主节点和两个从节点。 准备3台虚拟机,分别为: 主机名 IP地址 master ...原创 2019-06-25 17:05:40 · 215 阅读 · 0 评论 -
大数据集群运行过程中出现的问题解决方案
1、Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1561599084053_0003/__spark_libs__1535509378331375892.zip could only b...原创 2019-06-28 17:01:38 · 2344 阅读 · 1 评论