大数据
岁月饶过谁
这个作者很懒,什么都没留下…
展开
-
Ubuntu16.04上搭建CDH5.14集群
Ubuntu16.04上搭建CDH5.14集群最近实验室开始搞大数据的项目,基于Hadoop进行大数据管理并使用机器学习算法分析数据,于是花了几天时间倒腾了一下ubuntu16.04下Hadoop集群的环境搭建。在介绍具体的硬件、软件配置之前,需要强调一点,所有的命令都是在root用户下执行的。使用如下的命令可以切换到root用户sudo su 在教程中使用的编辑器是vim...原创 2018-03-16 10:46:40 · 5381 阅读 · 5 评论 -
hdfs基本命令与python编程
hdfs基本命令与python编程为了使用Hadoop进行大量数据的分析,需要使用hdfs将文件导入进行分布式的存储,加速分析的速度。因此,需要首先了解hdfs的基本用法,了解如何导入本地数据,为后续的数据分析打下基础。 这篇博客介绍hdfs的基本命令、基于python批量导入数据的方法等。 【注意】所有的命令都需要首先切换到hdfs用户,使用下面的命令sudo su #切换到ro...原创 2018-03-16 20:47:09 · 725 阅读 · 0 评论 -
ubuntu16.04上ambari平台安装
ubuntu16.04上ambari平台安装环境准备在所有的节点上使用ifconfig查看对应的ip地址,对应关系如下192.168.1.53 slave1.hadoop192.168.1.78 slave2.hadoop192.168.1.77 master.hadoop修改hosts文件在所有节点的/etc/hosts文件中添加192.168.1.53 ...原创 2018-04-26 11:33:26 · 3560 阅读 · 2 评论