自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

nisjlvhudy的专栏

DataWarehouse、BI、database、UNIX/Linux、Bank、Securities is here !

  • 博客(9)
  • 收藏
  • 关注

原创 Centos磁盘挂载操作

 1、查询未挂载的硬盘 fdisk -l //先查询未挂载的硬盘名如:sdb1 等 2、格式化 mkfs.ext3 /dev/xvdb   开始格式化 3、查看已经挂载的情况 df -h      4、开始挂载       mount /dev/xvdb /home   开始挂载 5、设置自启动挂载 vi /etc/fstab

2015-10-31 09:52:04 1556

原创 大数据环境部署8:Sqoop1部署安装

 一、Sqoop的安装 1、下载sqoop并解压: 也可用wge命令下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz    对应hadoop 2.x http://psg.mtu.edu/pub/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 解压

2015-10-31 09:34:39 1383 1

原创 大数据环境部署7:SparkSQL配置使用

1、SparkSQL配置 将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 2、运行 启动Spark集群 启动SparkSQL Clie

2015-10-22 21:05:52 3325

原创 大数据环境部署6:Spark环境部署

1、下载scala2.11.4版本 下载地址为:http://www.scala-lang.org/download/2.11.4.html ,也可以使用wget http://downloads.typesafe.com/scala/2.11.4/scala-2.11.4.tgz?_ga=1.248348352.61371242.1418807768  2、解压和安装

2015-10-22 21:04:48 996

原创 大数据环境部署5:Hive安装部署

 1、下载hive:wget http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz。 2、解压hive安装文件 tar -zvxf apache-hive-1.2.1-bin.tar.gz,并将解压后的文件移动到目标路径。 3、配置mysql元数据库 3.1、启动my

2015-10-22 21:03:42 1024

原创 大数据环境部署4:mysql安装部署

Mysql的安装是在root用户下进行操作的。 下载mysql 安装包 [spark@localhost~]$ wgethttp://dev.mysql.com/get/archives/mysql-5.6/mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz 解压安装包 进入安装包所在目录,执行命令

2015-10-22 21:02:30 807

原创 大数据环境部署3:Hadoop环境部署

一、安装Hadoop 0、下载安装包 Wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 1、解压 tar-xzvf hadoop-2.6.0.tar.gz  2、move到指定目录下:[spark@LOCALHOST]$

2015-10-22 21:00:48 1017

原创 大数据环境部署2:ssh免密码验证配置

进行免密码验证配置之前,要保证机器可以正常通信。 1、首先在MASTER机器配置 进去.ssh文件夹:  [spark@MASTER sbin]$ cd~/.ssh/ 生成秘钥 ssh-keygen : ssh-keygen -t rsa ,一路狂按回车键就可以了 最终生成(id_rsa,id_rsa.pub两个文件) 生成authorized_keys

2015-10-22 20:58:26 1167

原创 大数据环境部署1:环境及介质说明

一、安装介质与版本 OS安装介质:[红帽企业Linux.6.4.服务器版].rhel-server-6.4-x86_64-dvd[ED2000.COM].iso 版本:Linux version 2.6.32-358.el6.x86_64(mockbuild@x86-022.build.eng.bos.redhat.com) (gcc version 4.4.7 20120

2015-10-22 20:56:30 1062

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除