![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台
司杨
这个作者很懒,什么都没留下…
展开
-
大数据伪分布式平台搭建过程
大数据相关jar包可在https://www.siyang.site/portfolio/出下载平台结构为上图 配置ssh 每个节点操作ssh localhost 配置ssh免秘钥登录 node1配置ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa会在.ssh目录中生成2个文件:id_dsa及id_dsa...原创 2018-12-21 19:15:23 · 286 阅读 · 0 评论 -
大数据伪分布式平台-HA搭建
大数据伪分布式平台-HA搭建基于原 大数据伪分布式平台搭建过程,过程修改必要配置文件。大数据相关jar包可在https://www.siyang.site/portfolio/出下载 zookeeper安装 利用sshfile传输hadoop至node2的root目录并解压移动到/opt/home/目录下tar xf zookeeper-3.4.6.tar.gz mv zookee...原创 2018-12-21 19:26:22 · 263 阅读 · 0 评论 -
hive完全分布式搭建
上篇hadoop-ha伪分布式平台基于yarn,后续脚本需要看这里 node1做mysql node3做metastore server node4做客户端 安装配置mysql(node1) yum clean all yum makecache yum install mysql-server开启mysql 并开机启动service my...原创 2018-12-27 17:08:48 · 3206 阅读 · 0 评论 -
Hbase完全分布式安装
上篇hive搭建可以参考步骤 NN DN ZK Master Regionserver node1 1 1 node2 1 1 ...原创 2018-12-27 17:18:08 · 166 阅读 · 0 评论 -
hadoop-ha伪分布式平台基于yarn
基于大数据伪分布式平台-HA搭建,看着有断层可以看前面的平台搭建过程。nodemanage和datanode都是从节点角色,和datanode是1:1的关系,所以用了etc/slaves文件 修改mapred-site.xml 复制模板cp mapred-site.xml.template mapred-site.xml修改mapred-site.xml<c...原创 2018-12-23 22:28:19 · 115 阅读 · 0 评论