大数据生态1-hadoop
文章平均质量分 67
专业课程hadoop学习专栏
fighting&code
big data
展开
-
Hadoop集群+Hbase集群搭建
想部署hadoop集群和hbase的集群,我的方式是建议先在一台虚拟机上面部署hadoop伪分布+hbase伪分布,再以这台虚拟机生成克隆,防止出现难以解决的问题,备份一台,给自己必须留一手!!!!进行hadoop的集群时每各节点已经部署hadoop的伪分布,所以jdk和hadoop都已经安装。软件:VMware Workstation操作系统:linux+ubuntu服务器Hadoop集群部署集群规划 主节点:Master从节点:slave1 、slave2Ip:原创 2021-06-01 23:10:07 · 1830 阅读 · 11 评论 -
mongDB复制集+分片搭建
集群规划:有三个复制集 每个复制集有一个路由节点,配置节点,三个分片(主节点,从节点,仲裁节点)*****仲裁节点只能选举,不能参与实际的分片一共有33+32=15个数据分为3个片,每个片都是一个复制集,分别为shard1,shard2,shard3建立存放mongodb的数据文件sudo mkdir -p /data/mongodbtest1sudo mkdir -p /data/mongodbtest2sudo mkdir -p /data/mongodbtest3为m.原创 2021-06-01 21:00:02 · 192 阅读 · 0 评论 -
mongo分片搭建
1.分片规划集群 ip: 全为127.0.0.1 分片: shard 1 端口:20001 shard2:20002 shard3:20003版本原因 3.4版本及以上配置服务器必须为2个以上这里选用低版本(只需要一个配置服务器)配置服务器:mongod 端口 :30000 ip:127.0.0.1 路径:d:\mongodb\mongodata路由服务器:mongos 端口:40000 ip:127.0.0.1 .原创 2021-05-12 12:05:47 · 282 阅读 · 2 评论 -
mongo复制集搭建
搭建一个复制集复制集:就是有自动故障恢复功能的主从集群。主从集群和复制集最明显的区别是复制集没有固定的主节点:整个集群会选举出一个主节点。当这个主节点不能正常工作时,会选举出另一个节点为主节点。复制集总会有一个活跃节点(primary)和一个或者多个备份节点(secondary)。复制集的所有东西都是自动化的:自动提升备份节点为活跃节点,以确保运转正常。只需要为复制集指定一下服务器,驱动程序就会自动找到服务器,在当前活跃节点死机时自动处理故障恢复等。复制集规划:1.设置三个复制集:端口原创 2021-05-12 11:56:36 · 163 阅读 · 2 评论 -
hbase单机伪分布安装配置
(1)在Windows平台下安装虚拟机,并安装Ubuntu 64位操作系统;(2)在Linux下安装JDK1.8(3)在Linux下以伪分布式方式安装Hadoop 2.2,并修改相应的配置文件;Hadoop 单机安装Hadoop、jdk安装包1.创建hadoop用户(设置完毕退出以hadoop用户进入)2.更新apt3.安装vim(遇到y回车)4.安装ssh、配置ssh无密码登录sudo apt-get install openssh-server安装后,使用ssh lo原创 2021-05-12 00:30:32 · 329 阅读 · 0 评论 -
hadoop单机+伪分布安装配置
Hadoop 单机安装Hadoop、jdk安装包1.创建hadoop用户(设置完毕退出以hadoop用户进入)2.更新apt3.安装vim(遇到y回车)4.安装ssh、配置ssh无密码登录sudo apt-get install openssh-server安装后,使用ssh localhost登录本机:生成秘钥:*1.exit # 退出刚才的 ssh localhost2.cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost3.ssh-keyge原创 2021-05-12 00:11:16 · 1079 阅读 · 12 评论