![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
ntk1986
这个作者很懒,什么都没留下…
展开
-
Redis安装使用
一、获取Redis1、通过官网http://redis.io/获取稳定版源码包下载地址; 2、通过wget http://download.redis.io/releases/redis-3.0.2.tar.gz下载 源码包;二、编译安装Redis1、解压源码安装包,通过tar -xvf redis-3.0.2.tar.gz解压源码,速度相当快; 2、进入解压后的目录,执行make编译源码;转载 2016-12-01 08:06:03 · 381 阅读 · 0 评论 -
提交jar包到Storm集群
生成jar包,提交到Storm集群步骤: 1、右击项目–》properties–》复制Location; 2、进入cmd命令窗口,切换路径到Location; 3、运行dir命令,查看是否有pom.xml文件 4、如果有,运行mvn clean package,生成jar包 5、将jar包复制到服务器,使用CR原创 2016-12-01 08:09:12 · 5920 阅读 · 0 评论 -
HDFS 常用文件操作命令
前言HDFS命令基本格式:Hadoop fs -cmd < args >ls 命令hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在,否则命令不会执行hadoop转载 2016-12-01 19:11:34 · 384 阅读 · 0 评论 -
MapReduce提交jar包的相关操作
模拟HDFS–》MapReduce–》HDFS过程: 在linux中运行jar包【使用MapReduce处理指定的HDFS中的数据,处理完成之后将数据返回到指定的HDFS中】具体操作步骤:1、在eclipse中生成jar包:export–》生成jar包–》填写JAR file:生成路径–》选择Main class–》finish2、将jar包上传到linux,执行: ya原创 2016-12-01 22:57:13 · 1022 阅读 · 0 评论 -
hive的安装与简单使用
1、安装hive【安装hive之前必须安装好mysql】1.1 把hive的压缩包解压。1.2 产生一个文件cp conf/hive-default.xml.template conf/hive-site.xml1.3 把hive-site.xml中<configuration></configuration>中的内容清空。1.4 在里面添加如下内容,如下配置的意义在于metastore的数据原创 2016-12-03 09:15:49 · 327 阅读 · 0 评论 -
hadoop2.6.0版本集群环境搭建
一、环境说明1、机器:一台物理机 和一台虚拟机2、linux版本:[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"转载 2016-12-05 21:15:00 · 309 阅读 · 0 评论 -
大数据平台CDH集群离线搭建
摘要:管理、部署Hadoop集群需要工具,Cloudera Manager便是其一。本文先是简要对比了当前的类似工具,而后详细记录了以离线方式部署CDH集群>的步骤。前言 以Apache Hadoop为主导的大数据技术的出现,使得中小型公司对于大数据的存储与处理也拥有了武器。目前Hadoop有不少发行版:华为发行版 收费、Intel发行版 收费、Cloudera发行版(Cloudera’s D转载 2017-03-09 10:49:56 · 511 阅读 · 0 评论