- 博客(9)
- 收藏
- 关注
RSS订阅原创 Centos磁盘挂载操作
1、查询未挂载的硬盘fdisk -l //先查询未挂载的硬盘名如：sdb1等2、格式化mkfs.ext3 /dev/xvdb 开始格式化3、查看已经挂载的情况df -h 4、开始挂载 mount /dev/xvdb /home 开始挂载5、设置自启动挂载vi /etc/fstab
2015-10-31 09:52:04
1556
原创 大数据环境部署8：Sqoop1部署安装
一、Sqoop的安装1、下载sqoop并解压:也可用wge命令下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 对应hadoop 2.x http://psg.mtu.edu/pub/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz解压
2015-10-31 09:34:39
1383
1
原创 大数据环境部署7：SparkSQL配置使用
1、SparkSQL配置将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。2、运行启动Spark集群启动SparkSQL Clie
2015-10-22 21:05:52
3325
原创 大数据环境部署6：Spark环境部署
1、下载scala2.11.4版本下载地址为：http://www.scala-lang.org/download/2.11.4.html ，也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768 2、解压和安装
2015-10-22 21:04:48
996
原创 大数据环境部署5：Hive安装部署
1、下载hive:wgethttp://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz。2、解压hive安装文件 tar -zvxf apache-hive-1.2.1-bin.tar.gz，并将解压后的文件移动到目标路径。3、配置mysql元数据库3.1、启动my
2015-10-22 21:03:42
1024
原创 大数据环境部署4：mysql安装部署
Mysql的安装是在root用户下进行操作的。下载mysql 安装包[spark@localhost~]$ wgethttp://dev.mysql.com/get/archives/mysql-5.6/mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz解压安装包进入安装包所在目录，执行命令
2015-10-22 21:02:30
807
原创 大数据环境部署3：Hadoop环境部署
一、安装Hadoop0、下载安装包Wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz1、解压tar-xzvf hadoop-2.6.0.tar.gz 2、move到指定目录下：[spark@LOCALHOST]$
2015-10-22 21:00:48
1017
原创 大数据环境部署2：ssh免密码验证配置
进行免密码验证配置之前，要保证机器可以正常通信。1、首先在MASTER机器配置进去.ssh文件夹: [spark@MASTER sbin]$ cd~/.ssh/生成秘钥 ssh-keygen : ssh-keygen -t rsa ,一路狂按回车键就可以了最终生成（id_rsa,id_rsa.pub两个文件）生成authorized_keys
2015-10-22 20:58:26
1167
原创 大数据环境部署1：环境及介质说明
一、安装介质与版本OS安装介质：[红帽企业Linux.6.4.服务器版].rhel-server-6.4-x86_64-dvd[ED2000.COM].iso版本：Linux version 2.6.32-358.el6.x86_64(mockbuild@x86-022.build.eng.bos.redhat.com) (gcc version 4.4.7 20120
2015-10-22 20:56:30
1062
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人