- 博客(11)
- 收藏
- 关注
RSS订阅原创 集群搭建全过程
文章目录1.集群环境1.1 Zookeeper集群配置1.2 Hadoop安装1.3 HBase集群配置1.4 启动集群1.5 Spark安装1.6 Kafka安装2. 错误2.1 大数据之Zookeeper启动错误1.集群环境CentOS:7JDK:1.8Hadoop:3.0.0Spark:2.4.0HBase:集群包括三个节点主机名 IPnode01 192.168.4....
2021-10-09 15:42:03
202
原创 rabbitmq配置证书
rabbitmq wss协议准备证书ca证书server证书私钥阿里云中下载pfx证书。使用如下方式转化成Rabbitmq需要配置的证书：提取ca证书:openssl pkcs12 -in www.xxxx.com.pfx -nodes -password pass:域名证书密码 -nokeys -cacerts -out cacert.pem提取server证书:openssl pkcs12 -in 4000000_www.xxxx.com.pfx -nodes -passwo
2021-01-27 10:50:12
1689
1
原创 rabbitmq安装
文章目录安装rabbitmqerlang安装安装rabbitmqYou could try using --skip-broken to work around the problem You could try r安装rabbitmqrabbitmq官网erlang安装erlang.repo链接1. # /etc/yum.repos.d/rabbitmq_erlang.repo[rabbitmq_erlang]name=rabbitmq_erlangbaseurl=https://pa
2021-01-19 12:04:25
130
原创 spark集群无法停止
[data@lcoalhost-1 spark-2.4.0]$ ./sbin/stop-all.sh localhost-1: no org.apache.spark.deploy.worker.Worker to stoplocalhost-2: no org.apache.spark.deploy.worker.Worker to stop原因分析spark集群的停止是通过xxx.pid文件操作查看stop-master,其中停止语句为"${SPARK_HOME}/sbin"/spark-
2020-09-14 10:08:37
503
原创 更换python源
更换python源pip国内的一些镜像阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/永久修改
2020-08-18 10:21:27
83
原创 spark如何配置Python虚拟环境
方式一# 在代码中配置环境变量import osos.environ["SPARK_HOME"] = "/usr/local/Cellar/apache-spark/1.5.1/"os.environ["PYSPARK_PYTHON"]="/usr/local/bin/python3"方式二
2019-05-23 14:57:47
1103
原创 centos7 python3安装 虚拟环境创建
1、安装相关包，用于下载编译python3yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make2、解压python3，安装包 并编译tar -zvxf Python-3.6.4.tgzmv Python-3.6.4 pytho...
2019-05-22 10:53:38
334
原创 Spark中Python与JVM的交互
原文链接：Spark通信原理之Python与JVM的交互我们知道Spark平台是用Scala进行开发的，但是使用Spark的时候最流行的语言却不是Java和Scala，而是Python。原因当然是因为Python写代码效率更高，但是Scala是跑在JVM之上的，JVM和Python之间又是如何进行交互的呢？在实际运行过程中，JVM并不会直接和Python进行交互，JVM只负责启停Pytho...
2019-04-01 15:30:53
482
原创 集群环境免密登录
一、修改hosts文件1、在root权限下输入以下命令vim /etc/hosts编辑hosts文件#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localhost localhost.localdomain localhost6 localhost...
2019-03-06 16:46:50
406
原创 centOS7重新安装Python2和yum
centOS7重新安装Python2和yum一、卸载Pythonrpm -qa|grep python|xargs rpm -e --allmatches --nodeps二、卸载yum三、
2019-02-27 11:35:52
1809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人