- 博客(9)
- 收藏
- 关注
原创 Centos磁盘挂载操作
1、查询未挂载的硬盘 fdisk -l //先查询未挂载的硬盘名如:sdb1 等 2、格式化 mkfs.ext3 /dev/xvdb 开始格式化 3、查看已经挂载的情况 df -h 4、开始挂载 mount /dev/xvdb /home 开始挂载 5、设置自启动挂载 vi /etc/fstab
2015-10-31 09:52:04 1556
原创 大数据环境部署8:Sqoop1部署安装
一、Sqoop的安装 1、下载sqoop并解压: 也可用wge命令下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 对应hadoop 2.x http://psg.mtu.edu/pub/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 解压
2015-10-31 09:34:39 1383 1
原创 大数据环境部署7:SparkSQL配置使用
1、SparkSQL配置 将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 2、运行 启动Spark集群 启动SparkSQL Clie
2015-10-22 21:05:52 3325
原创 大数据环境部署6:Spark环境部署
1、下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768 2、解压和安装
2015-10-22 21:04:48 996
原创 大数据环境部署5:Hive安装部署
1、下载hive:wget http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz。 2、解压hive安装文件 tar -zvxf apache-hive-1.2.1-bin.tar.gz,并将解压后的文件移动到目标路径。 3、配置mysql元数据库 3.1、启动my
2015-10-22 21:03:42 1024
原创 大数据环境部署4:mysql安装部署
Mysql的安装是在root用户下进行操作的。 下载mysql 安装包 [spark@localhost~]$ wgethttp://dev.mysql.com/get/archives/mysql-5.6/mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz 解压安装包 进入安装包所在目录,执行命令
2015-10-22 21:02:30 807
原创 大数据环境部署3:Hadoop环境部署
一、安装Hadoop 0、下载安装包 Wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 1、解压 tar-xzvf hadoop-2.6.0.tar.gz 2、move到指定目录下:[spark@LOCALHOST]$
2015-10-22 21:00:48 1017
原创 大数据环境部署2:ssh免密码验证配置
进行免密码验证配置之前,要保证机器可以正常通信。 1、首先在MASTER机器配置 进去.ssh文件夹: [spark@MASTER sbin]$ cd~/.ssh/ 生成秘钥 ssh-keygen : ssh-keygen -t rsa ,一路狂按回车键就可以了 最终生成(id_rsa,id_rsa.pub两个文件) 生成authorized_keys
2015-10-22 20:58:26 1167
原创 大数据环境部署1:环境及介质说明
一、安装介质与版本 OS安装介质:[红帽企业Linux.6.4.服务器版].rhel-server-6.4-x86_64-dvd[ED2000.COM].iso 版本:Linux version 2.6.32-358.el6.x86_64(mockbuild@x86-022.build.eng.bos.redhat.com) (gcc version 4.4.7 20120
2015-10-22 20:56:30 1062
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人