2019年06月_请叫我小叶子

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创大数据集群运行过程中出现的问题解决方案

1、Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1561599084053_0003/__spark_libs__1535509378331375892.zip could only b...

2019-06-28 17:01:38 2372 1

原创 Linux下安装Python3.6并与Python2.7兼容

1、下载Python3.6 wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz 2、解压下载好的压缩包 tar -zxvfPython-3.6.2.tgz 3、配置编译创建文件夹用来存放Python3.6：mkdir /usr/local/python3 进入解压...

2019-06-26 18:00:36 1568

原创 Spark集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明本次基于spark-2.4.3-bin-hadoop2.6版本进行分布式配置。在此设置一个主节点和两个从节点。准备3台虚拟机，分别为：主机名 IP地址 master ...

2019-06-25 17:05:40 223

原创 Kafka集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明本次基于kafka_2.12-2.1.1版本进行分布式配置。在此设置一个主节点和两个从节点。准备3台虚拟机，分别为：主机名 IP地址 master ...

2019-06-25 16:49:36 307

原创 Scala集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明本次基于scala-2.11.1版本进行分布式配置。...

2019-06-25 16:03:52 566

原创 Zookeeper集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明本次基于zookeeper-3.4.12.tar版本进行分布式配置。在此设置一个主节点和两个从节点。准备3台虚拟机，分别为：主机名 IP地址 master ...

2019-06-25 15:35:27 155

原创 Hbase集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明本次基于hbase-2.2.0-bin.tar版本进行分布式配置。在此设置一个主节点和两个从节点。准备3台虚拟机，分别为：主机名 IP地址 master ...

2019-06-25 14:25:37 249

原创 Hadoop集群的搭建

最近忽然要把大数据跟我们对接的项目接回来我们自己维护，不得不自己搭建一个大数据的集群环境，用来运行该项目。因此记录一下集群环境的搭建，免得以后需要再搭建。一、架构说明本次基于hadoop-2.6.0-cdh5.8.0版本进行分布式配置。在此设置一个主节点和两个从节点。准备3台虚拟机，分别为：主机名 IP地址 master...

2019-06-25 11:36:17 254