大数据
夏未央 ~
这个作者很懒,什么都没留下…
展开
-
大数据学习之路
目前正在结合机器学习理论学习MLlib源码前言在学习大数据之前,先要了解他解决了什么问题,能给我们带来什么价值。一方面,以前IT行业发展没有那么快,系统的应用也不完善,数据库足够支撑业务系统。但是随着行业的发展,系统运行的时间越来越长,搜集到的数据也越来越多,传统的数据库已经不能支撑全量数据的存储工作;另一方面,数据越来越多,单机的计算已经成为瓶颈。因此,基于分布式的大数据系统崭露头角。那...原创 2019-04-01 12:36:57 · 206 阅读 · 0 评论 -
hadoop安装和配置
本文hadoop的版本为hadoop-2.2.0一、安装java jdk 1、下载java jdk1.7版本,放在/home/software目录下, 2解压:tar -zxvf java-jdk*****.jar 3、vim /etc/profile 1 2 3 4 5 #在文件最后添加 expo...原创 2019-04-01 18:17:07 · 131 阅读 · 0 评论 -
Hadoop2.0全分布式集群架构
Hadoop安装1.创建hadoop用户组;$sudo addgrouphadoop记下这里为hadoop用户设置的密码,后面使用hadoop用户登录时需要用到。2.创建hadoop用户;$sudo adduser -ingroup hadoop hadoop3.给hadoop用户添加权限,打开/etc/sudoers文件;$su...原创 2019-05-14 09:55:30 · 213 阅读 · 0 评论