大数据 搭建环境
lxy6520177
这个作者很懒,什么都没留下…
展开
-
HADOOP高可用机制
HA运作机制什么是HAHADOOP如何实现HAHDFS-HA详解HA集群搭建 目标:掌握分布式系统中HA机制的思想掌握HADOOP内置HA的运作机制掌握HADOOP2.x的HA集群机制配置 &nb...转载 2019-06-13 11:16:44 · 133 阅读 · 0 评论 -
Zookeeper的ZAB协议与Paxos协议区别
摘要 一、联系1. 两者构建的系统都有一个Leader角色,Leader进程负责协调多个Follower进程的运行2. Leader进程都会等待超过半数的Follower进程做出正确的分亏后,才会将一个提案进行提交3. 在ZAB协议中每个Proposal中都包含一个epoch值,用来代表当前的Leader周期...转载 2019-06-14 17:22:38 · 2949 阅读 · 0 评论 -
从头开始搭建 hadoop
所有参考 网址 均给出链接 请自行点击主要参考史上最详细的Hadoop环境搭建https://blog.csdn.net/hliq5399/article/details/78193113第一部分:Linux环境安装Hadoop是运行在Linux,虽然借助工具也可以运行在Windows上,但是建议还是运行在Linux系统上,第一部分介绍Linux环境的安装、配置、Java JD...原创 2019-06-11 13:26:32 · 307 阅读 · 0 评论 -
Pycharm环境部署pyspark 步骤
1.下载并安装 spark-1.6.0-bin-hadoop2.4, hadoop-2.6.5同时添加相应的环境变量 HADOOP_HOME path 等2. Pycharm 配置 configurations 设置 环境变量 SPARK_HOME PYTHONPATH3.把spark的python支持包复制到相应的路径中,即在安装python 中 环境的...原创 2019-06-25 17:25:29 · 3176 阅读 · 0 评论 -
Pycharm 搭建运行 SpartkStreaming +kafka 项目
1. 版本Python 3.5spark-1.6.0-bin-hadoop2.4,hadoop-2.6.5参考https://blog.csdn.net/lxy6520177/article/details/936344882.SpartkStreaming +kafka 需要导入 spark-streaming-kafka-assembly_2.10-1.6.0....原创 2019-07-01 14:19:24 · 1355 阅读 · 0 评论