bigdata
文章平均质量分 71
wjyyawjx
这个作者很懒,什么都没留下…
展开
-
red hat 7 64位 安装jdk和hadoop记录
redhat 7 64位 1.停掉防火墙命令 systemctl stop firewalld.service 停止防火墙命令(重启也无法开启) systemctl disable firewalld.service 2.更改主机域名 vi /ctx/hosts 打开后输入自己主机名比如新增一行 192.168.23.110 dapeng110 3.解压文件 tar -zxvf 要...原创 2019-01-17 15:27:32 · 272 阅读 · 0 评论 -
Linux redhat hadoop 免密登陆
问题 当我们启动hadoop的时候 频繁要求输入密码 我们需要一种方式来让我们不需要输入密码就可以启动和关闭hadoop相关节点服务 在伪分布式模式下的实现 先来看一个原理图 再来看实现 1.产生密钥对(非对称加密算法) ssh-keygen -t rsa 其中下图第一行是私钥 第二行是公钥 2.将公钥给虚拟机 ssh-copy-id -i .ssh/...原创 2018-08-14 23:03:14 · 191 阅读 · 0 评论 -
大数据 云计算 hadoop的概念理解
作为一个懒人实在是不爱学习,然而不学习就要被淘汰,公司要求学习大数据相关知识,只能慢慢学习了,因为公司事务很多,本来7月份的时候已经开始学习,也写了一些操作的文章,但是中间耽搁了了好久到现在我回头看我自己写的文章竟然看不懂!!! 这我就不开心了,琢磨了一上午为什么?是时间太久忘记了?是我记忆力减退了?即便如此我也不能过了几个月跟没学一样吧?? 最后找到原因,当初没沉下心来好好理解,或者说理解不...原创 2018-12-07 15:44:52 · 12166 阅读 · 0 评论 -
Hadoop的NameNode和SecondaryNameNode的功能描述
弄明白了云计算和大数据以及hadoop的概念,思想交给哲学家,我们来研究一下技术实现 hadoop这个家伙是怎么个构造?怎么实现的大数据存储?怎么实现的大数据计算? 首先我们来看构造NameNode和SecondaryNameNode,这俩是hadoop的管理者, 我们来主要研究下这俩小兄弟都做了什么工作? 举例说明:现在我要使用hadoop存储一个640M的数据,hadoop会将这个...原创 2018-12-07 16:40:13 · 1098 阅读 · 0 评论