大数据
huhui0406
这个作者很懒,什么都没留下…
展开
-
linux 装jdk和hadoop环境
Linux下jdk安装输入rpm -qa|grep java查看linux自带的jdk注:不同的CentOS版本安装的openjdk版本可能有差别;卸载以上三个文件(需要root权限,登录root权限卸载)rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm -e --nodeps java-1.6.0-原创 2017-06-06 18:08:51 · 402 阅读 · 0 评论 -
Apache Spark大数据分析入门(一)
:Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此,本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程(共四部分)的第一部分。Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此,本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程(转载 2017-06-28 15:09:11 · 330 阅读 · 0 评论 -
Apache Spark数据分析教程(二):Spark SQL
本Spark序列教程的第一部分,已对Spark进行介绍,详细解释了用于在Spark集群中进行数据分片存储的弹性分布式数据集(RDDs)以及Apache Spark的生态系统。本教程将给大家演示Spark及Spark SQL结合Cassandra的使用。Spark是一款非常流行同时功能又十分强大的实时数据分析工具。在本 Spark序列教程的第一部分,我们已经对Spark进行了介绍,讲解了原创 2017-06-28 15:10:57 · 898 阅读 · 0 评论 -
Linux查看文件和文件夹大小
Linux查看文件和文件夹大小 1、du -sh 查看当前文件夹大小du -sh * | sort -n 统计当前文件夹(目录)大小,并按文件大小排序附送:du -sk filename 查看指定文件大小2、 linux:ls以K、M、G为单位查看文件大小#ls -lhs举例比较:# lscuss.war nohup.ou转载 2017-07-26 09:31:31 · 238 阅读 · 0 评论 -
HADOOP基本操作命令
HADOOP基本操作命令 tGwbwMiXNywbGCBe在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2.转载 2017-07-26 09:32:41 · 238 阅读 · 0 评论