60天计划第5天 hadoop基础

1.关于免密登录。
操作工程：
1.根据ssh-keygen -t rsa命令生成密钥对。
2.根据命令会生成.ssh一个文件。然后在这个文件夹下会出现两个文件，一个叫做id-rsa和id-rsa.pub
3.把id-rsa留下（即是一个私钥）。把id-rsa.pub追加到要免密登录的虚拟机的授权文件中。可以使用 scp命令。
4.输入ssh 192.168.xx.xx 就可以登录了。当然，第一次是要输入密码的。
工作原理：
其实这相当于一个server和一个client。在client生成一对秘钥，其中有公钥和私钥。私钥用来加密，公钥用来解密。然后client将public（公钥）发送给server，追加到授权文件当中去。然后client接收到server发送来的消息，通过priveate（私钥）进行解密，进行匹配。
2.在hadoop下创建目录hadoop fs -mkdir /目录
3.在hadoop下传送文件 hadoop fs -put 文件所在路径 传送到的路径
4.一个英文单词clusters 是集群的意思。daemon是守护线程的意思。（计算机专业术语，本意并不是。好像是希腊的一个神。）
5.区分大数据和云计算。
答：二者之间并没有太大的联系。云是指包括硬件和软件在内的服务，通过虚拟机技术给用户提供一种定制的服务。归于底就是服务二子。而大数据指向的是数据的分析和处理，海量的数据分析处理。如果非要给他们扯上关系的话，只能说，云计算是大数据的一个方面。
6.分布式的概念。分部在不同主机上的进程协同在一起，构成整个应用。
7.大数据的特征。4个 V：volume体量大 variety 样式多（结构化） velocity 速度快 valueless 价值密度低
8RAID:磁盘阵列
9.failure over：容灾 fault over：容错
10。hadoop的四个模块：common hdfs yarn mapreduce
11.hadoop的三种配置方式。
1.standlone（local）
本地模式
2.fesudodistrubuted mode
伪分散模式
这个模式需要配置四个文件：core-site.xml hdfs-site.xml（副本） mapred.xml（框架） yarn-site.xml（资源管理器）
此模式其实就是完全分布模式。之时只有一个节点的完全分布模式。
3.full distrubute
完全分布
克隆（完全克隆）+启动后修改hostname（/etc/hostname）和ip(ipaddr)+重启

这就是第五天所学以及复习2.4天。现在已经是23.22，大家晚安