wenhaoran。。。-CSDN博客

原创 pyspark更换python版本

修改spark-env.sh配置vi spark-env.sh#添加下面的配置export PYSPARK_PYTHON=/usr/bin/python3加载spark-env.sh配置source spark-env.sh启动pyspark查看默认python版本

2021-09-25 18:03:29 1041 1

原创 centos安装python3.7.3环境（其他python3.x基本一样操作）

文章目录安装前准备工作1、下载python3.7.5 tar包解压2、安装开发环境的依赖包，防止编译及依赖报错解压安装安装前准备工作1、下载python3.7.5 tar包解压wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz2、安装开发环境的依赖包，防止编译及依赖报错首先安装gcc编译器yum -y install gcc再把其他所有开发环境的依赖包安装好，方便省事！！！yum -y groupinstall

2021-09-25 11:45:03 211

原创 Hadoop-HA || Yarn-HA 高可用分布式配置

文章目录一、配置HDFS-HA集群1、HDFS高可用集群规划2、配置core-site.xml3、配置hdfs-site.xml4、配置yarn-site.xml二、启动zookeeper集群三、启动journalnode四、格式化HDFS（仅第一次启动执行）五、格式化ZKFC（仅第一次启动执行）六、启动HDFS七、启动YARN八、测试验证请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。一、配置HDFS-HA集群1、HDFS高可用集群规划hostnam

2021-03-18 19:13:27 344 3

原创 Hbase分布式安装

文章目录一、解压安装Hbase并配置环境变量二、配置Hbase注：hbase和hadoop存在版本依赖关系，所有安装之前请先确定好hbase和hadoop是否支持1.0.x版本的hbase的master web 默认是不运行的，所以需要自己配置默认端口。一、解压安装Hbase并配置环境变量将Hbase安装包解压到目录下，然后设置环境变量# 在 /etc/profile 文件末尾添加如下内容export HBASE_HOME=/root/software/hbaseexport PATH=$

2021-03-15 19:48:32 219

原创 Hadoop分布式安装部署

文章目录一、安装Hadoop前的准备1、安装JDK配置环境变量2、时间同步3、查看IP映射4、关闭防火墙firewalld和selinux5、免密钥登录二、Hadoop的安装1.上传Hadoop安装包2.解压安装包3、配置Hadoop环境变量4.验证三、修改Hadoop文件配置1.输入下面命令，进入其目录2.修改hadoop-env.sh文件3.修改core-site.xml 文件4.修改hdfs-site.xml文件5.修改mapred-site.xml文件6.修改yarn-site.xml文件7.修改w

2021-03-06 23:35:32 313 1

原创基于hadoop-3.1.4在Centos7进行编译过程

文章目录一、前期依赖项1、前期依赖项: BUILDING.txt2、准备工作：操作系统：下载依赖软件安装包（附下载地址）二、解压软件包至相关目录三、源码编译环境搭建1、安装配置JDK 1.8（链接中有JDK环境变量配置过程）2、安装配置Maven 3.63、yum 安装源码编译相关依赖包3.1、搭建源码编译环境时遇到的问题：4、安装ProtocolBuffer 2.5.0四、编译Hadoop 3.1.4一、前期依赖项1、前期依赖项: BUILDING.txtBuild instructions for

2021-03-06 16:44:13 368

原创 Linux安装Redis

文章目录一、Redis安装前环境准备1、检查环境2、下载redis压缩包并解压二、Redis安装2.1进入/opt/redis-6.2.1/2.2使用make命令进行编译2.2.1 make错误原因2.3编译完成后查看Redis默认安装路径三、启动Redis四、登录Redis五、关闭Redis5.1方式一：5.2方式二：六、客户端连接工具连接Redis6.1、修改配置文件redis.conf1、修改Redis服务保护模式2、注释掉 bind 127.0.0.1一、Redis安装前环境准备1、检查环境在

2021-03-02 18:28:00 73

wenhaoran的博客