大数据
文章平均质量分 90
入门大数据技术
lijieling123
努力赚钱
展开
-
8天学习hadoop的视频学习笔记(1)--mr程序的几种提交运行模式以及shuffle机制
1.mr程序的几种提交运行模式(windows本地的和集群的,我都没去实践成功)1.1本地模式运行(1)在windows的eclpise里面直接运行main方法,就会将job提交给本地执行器lcoaljobrunner执行—输入输出数据可以放在本地路径下(D:/wc/data)也可以放在hdfs中(2)在linux的eclpise里面直接运行main方法,但是不要添加yarn相关的配置,...原创 2019-07-29 13:42:14 · 172 阅读 · 0 评论 -
Hadoop完全分布式(只测试两台机子)
1.克隆一个bigdata01的虚拟机(没用之前那两个用户名不一样的,目录出错)1.1修改网络1.2修改主机名,配置主机名和地址的映射关系2.尽量不要将 secondarynamede 和 namenode 放在同一台机器上配置hdfs-site.xmldfs.namenode.secondary.http-addressbd4:50090https://www.cnblogs....原创 2019-07-29 13:23:12 · 627 阅读 · 0 评论 -
HA完全分布式部署
备注:一开始我的3台机器中的配置基本和第一台的一样,都是一开始的伪分布配置(只运行在1个机器上),配置过程主要根据博客的,视频上的做参考1.配置hdfs-site.xmldfs.nameservicesns1dfs.ha.namenodes.ns1nn1,nn2dfs.namenode.rpc-address.ns1.nn1bd1:8020dfs.namenode.rpc...原创 2019-07-29 13:26:50 · 620 阅读 · 0 评论 -
hbase环境搭建
改网络,重启服务,配置开机时为命令模式,切换为root用户 vi/etc/sysconfig/network-scripts/ifcfg-eth0IPADDR=192.168.132.107NETMASK=255.255.255.0GATEWAY=192.168.132.2DNS1=8.8.8.8DNS2=8.8.4.4vi /etc/inittabinitdefault改为3克隆两台机子,然后改IP为108,109 (可以根据自己情况改IP) 改主机名和地址...原创 2021-01-07 21:14:40 · 107 阅读 · 0 评论 -
openstack环境搭建
- 创建虚拟机,再克隆一个控制节点内存4G,计算节点内存1G虚拟化Intel要打勾- 基本网络设置IP地址(两个结点都改)vi /etc/sysconfig/network-scripts/ifcfg-eno16777736BOOTPROTO=none(修改为这个)IPADDR=192.168.132.105—还有106NETMASK=255.255.255.0GATEWAY=192.168.132.2DNS1=8.8.8.8DNS2=8.8.4.4修改主机名hostnamect原创 2020-11-29 18:30:04 · 682 阅读 · 0 评论 -
Hadoop环境搭建(伪分布式的)
安装VMware,下载centOS镜像文件创建一个虚拟机,启动虚拟机,更改网络模式为net,并配置ipv4,用外面的CRT进行连接由于开太多图形界面影响性能,需要配置开机时为命令模式短期命令为:init 3长期配置:3.1 sudo vi /etc/inittab(使用sudo比较好,使用su的话后面如果忘记退出root用户,会影响一些问题,其中sudo一开始还不能使用。要配置一下)3.2 initdefault改为3修改主机名,配置主机名和地址的映射关系sudo ..原创 2020-11-04 09:43:06 · 85 阅读 · 3 评论