![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
从零学习大数据
maple 枫
Everything has to be perfect.
展开
-
linux下nginx的安装和配置
一、安装1、下载tar.gz包:http://nginx.org/en/download.html 2、上传到linux服务器里并解压alt+p进入到SFTP:put E:\DevelopSoftware\linux\nginx-1.8.1.tar.gz默认会把nginx的包上传到/root下tar -zxvf nginx-1.8.1.tar.gz -C /usr/local/src/ 解压...原创 2018-05-21 10:54:30 · 1256 阅读 · 0 评论 -
hadoop shell命令操作
先看我服务器情况:shizhan01有 ResourceManager 和 NameNodeshizhan02 03 04里是我的 NodeManager 和 DataNode访问 http://shizhan01:50070DataNode是存放数据的,hdfs把我的数据都存成两份(我们在hdfs-site.xml里配置的是2),如果数据太大超过128M时,hdfs就会把我的数据给拆开,按偏移量...原创 2018-07-15 13:52:53 · 3805 阅读 · 0 评论 -
hadoop集群安装
1、先是hadoop安装包的下载与安装 http://hadoop.apache.org/releases.html 我下载的是 hadoop-2.6.5.tar.gz 这个2、cd /home/hadoop mkdir apps (以后hadoop,hive都解压到这里) 把hadoop-2.6.5.tar.gz安装到上传到/home/hadoop 并解压到 apps 里 ...原创 2018-07-14 23:09:23 · 294 阅读 · 0 评论 -
hadoop安装环境准备
我虚拟机里有四台服务器,分别为192.168.116.128192.168.116.129192.168.116.130192.168.116.131他们每一台里的 /etc/hostname分别为shizhan01shizhan02shizhan03shizhan04他们每一台里的 /etc/hosts分别为192.168.116.128 shizhan01192.168.116.129 shi...原创 2018-07-14 14:42:33 · 429 阅读 · 0 评论 -
linux下zookeeper的安装和集群搭建
1、集群至少要有三台机器,我的是192.168.116.128192.168.116.129192.168.116.1302、下载地址:http://mirror.bit.edu.cn/apache/zookeeper/3、在128机器上,alt+p打开ftp,然后put E:\DevelopSoftware\linux\zookeeper-3.4.12.tar.gz 默认到 /root目录下ta...原创 2018-05-23 21:36:11 · 313 阅读 · 0 评论 -
用ZK来实现分布式应用系统服务器上下线动态感知的功能
我们知道ZK有个功能就是 动态感知服务器的正常运行,比如说:A是客户端,B、C、D都是应用服务器,一共有三台;每次请求,客户端A都去调用BCD里面的一台,如果BCD里有一台服务器B挂掉的话,ZK感知到并告诉A下次请求C和D服务器,从而保证程序正常运行。那我们就来用代码简单实现一下功能吧。/* * Project: blog.web * * File Created at 2018年5月26...原创 2018-05-27 15:38:58 · 917 阅读 · 0 评论 -
SSH和SCP另外一台服务器时不输密码
我们知道从linux里登陆到另外一台服务器或者从A服务器传文件到B服务器,我们用到的命令是 SSH和SCP;然后用过的人都知道,我们要输入B的密码的,那现在让我们来配置一下不用输入密码就能达到效果。原理:服务器A要ssh到服务器B,A通过 ssh-keygen生成密钥对公钥私钥,把公钥给B,B把A的身份放在自己的 authorized_keys中,当A ssh root@B 的时候,A把自己的身份...原创 2018-05-21 14:37:01 · 499 阅读 · 0 评论 -
linux的常见命令
学习大数据之前的linux知识(笔记)LINUX:1、修改主机名vi /etcsysconfig/networkNETWORKING=yesHOSTNAME=server1.itcast.cn2、修改IP地址(1)、运行setup,带提示,按照提示修改(2)、vi /etc/sysconfig/network-scripts/ifcfg-eth0service network restart3、修...原创 2018-05-21 14:28:41 · 331 阅读 · 0 评论 -
Nginx+keepalived主从模式
nginx的安装参考:nginxkeepalived的安装参考:keepalived背景:很多企业都在使用nginx做反向代理,负载均衡,一旦nginx挂了,任何请求都转发不到应用服务器,网站就GG了,所以nginx要实现高可用的,怎么实现呢,一般用keepalived。keepalived的介绍:Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似...原创 2018-05-21 12:06:30 · 5190 阅读 · 0 评论 -
linux下keepalived的安装和配置
一、安装1、下载tar.gz包:http://keepalived.org2、上传到linux服务器里并解压alt+p进入到SFTP:put E:\DevelopSoftware\linux\keepalived-1.2.19.tar.gz默认会把nginx的包上传到/root下tar -zxvf keepalived-1.2.19.tar.gz -C /usr/local/src/ 解压并...原创 2018-05-21 11:04:35 · 3121 阅读 · 4 评论 -
hadoop shell命令操作(二)
用mapreduce实现wordcount,这个代码不用我们自己写,有专门的jar包,在/home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce里hadoop-mapreduce-examples-2.6.5.jar在hdfs里建个目录看一下建成功没把文件上传到hdfs里cd /home/hadoop/apps/hadoop-2.6.5/share...原创 2018-07-15 16:19:12 · 282 阅读 · 0 评论