一、Hadoop
1.1 hadoop 的启动命令
在 /etc/profile 里面自己配好环境变量
start-dfs.sh # 启动hdfs
start-yarn.sh # 启动yarn
start-all.sh # 启动HDFS 和 yarn
web上可以通过 50070 和 8088 两个端口访问 hdfs 和 yarn 。
1.2 hadoop 的配置要点
- hadoop-env.sh编辑里面的JAVA_HOME,给出真实路径,不要用$JAVA_HOME
- slaves 在这个文件里面配置datenode 的ip 或者域名
- core-site.xml 确定default:FS, 应该就是namenode 的意思
- hdfs-site.xml 备份数
- yarn-site.xml 确认 resourcemanager,配置shuffle
- mapred-site.xml 这个文件要 cp 一下mapred-queues.xml.template 文件
二、redis
2.1 redis 的启动
- 首先。redis 的默认安装目录在
/usr/local/
进入到bin 目录里
./redis-server 启动前台的redis 服务,要是修改了配置文件就会直接后台启动
./redis-server 1>/dev/null 2>&1 & 后台启动redis 服务
./redis-cli 启动客户端服务
./ 也可以不写
2.2 redis 配置的要点
- 解压redis 的tar 包
- 成功后进入安装目录,输入make 命令,会发现报一些乱七八糟的异常
- 先删除安装不成功的目录 make distclean ;
- 然后在yum -y install gcc gcc-c++ kernel-devel ,安装gcc ;
- 成功后再 make 一次
- 成功后make install
- 都成功就可以进入
/usr/local
目录下查看安装的redis 了 - 记得要把备份一个 redis.conf 文件 ,再将备份文件配置改下,设置成为后台启动
三、hbase
自己先在 /etc/profile 里面配好 HBASE_HOME 的环境变量
3.1 hbase 的启动命令
start-hbase.sh # 这个是服务端的
hbase shell # 这个是进入客户端的
web端可以通过 16010 端口来访问hbase,
不过hbase 是建立在hdfs 基础上的,要先启动hdfs,才能进入这个页面
3.2 hbase 的配置要点
(和hadoop 有些类似)
配置conf 文件夹下的:
- 修改java_home
- 修改 export HBASE_MANAGES_ZK=false ,将值修改为 flase
- hbase-site.xml
- 指定自己的hdfs
- 指定zookeeper
- 指定自己是分布式的
- regionservers
- 配置的都是自己的region server, 和 datanode 类似
- 注意 这里的 hbase 分布式集群 的机器时间要同步,不然会启动不起来 region server 。可以用 ntpdate 插件来实现
四、zookeeper
4.1 zookeeper 的启动命令
/home/hbase/apps/zookeeper-3.4.5/bin/zkServer.sh start # 启动单个zk服务
/home/hbase/apps/zookeeper-3.4.5/bin/zkServer.sh status # 查看zk是flower还是leader
/home/hbase/apps/zookeeper-3.4.5/bin/zkCli.sh start # 启动客户端服务
4.2 zookeeper 的安装要点
- zk 安装最少需要三台服务器 (因为半数机制)
- zk 也需要 jdk
- 在conf 目录下 cp zoo_sample.cfg zoo.cfg ,然后修改zoo.cfg 里面的配置,例如: server.1=zookeeper1:2888:3888
- 然后修改这个文件里面的dataDir 的 路径,自己随便设,设完了保存,然后在自己设的路径下创建目录 和 myid 文件。
- zookeeper 是没有一键启动集群的,需要我们自己写shell 脚本来启动
- 写shell 脚本时,在 ssh 之后准备启动zk 之前我们需要
source /etc/profile
确保JAVA_HOME 能够被识别出来 - 可以将这个 .sh 文件放在 root目录下,可以直接使用,就不需要在配置/etc/profile 了
五、hive
5.1 hive 的启动命令
hive的启动方式有三种:
- 交互式的 hive
hive
- 启动hive 的服务来启动
nohup hiveserver2 1>/dev/null 2>&1 & # 后台启动hive 服务
hiveserver2 -hiveconf hive.root.logger=DEBUG,console # 前台启动
启动好之后开始客户端连接
beeline
!connect jdbc:hive2://localhost:10000 #本地连接
!connect jdbc:hive2://hive1:10000 # 远程连接,这个要设置mysql 的远程连接才能成功
然后输入账号密码
5.2 hive 的配置要点
hive 有两种安装方式,一是 最简安装(Derby 做元数据库) 二是标准安装(mysql 做元数据库)
- hive-env.sh 修改一下HADOOP_HOME 的路径 和 conf 的路径;
- 配置HIVE_HOME and HADOOP_HOME(hive 要用到hadoop);
- hive 的元数据配置 hive-site.xml ,就是连接mysql 的配置
- 上传一个mysql 的 jdbc驱动的 jar 到 lib 目录下
六、frume
6.1 frume 的启动命令 及 配置要点
- 首先要进入到sqoop的安装目录
- 然后就是配置文件自己配置,可以就放在安装目录下,方便使用
# 前台启动
bin/flume-ng agent -c conf/ -f dir_hdfs.conf -n ag1 -Dflume.root.logger=DEBUGE.console
# 后台启动
bin/flume-ng agent -c conf/ -f dir_hdfs.xonf -n ag1 1>/dev/null 2>&1 &
七、sqoop
7.1 sqoop的启动命令
- mysql 导入到 hdfs 的命令
bin/sqoop import \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--target-dir /qphone_sqoop4 \
--fields-terminated‐by ',' \
--table emp \
--split-by id \
--m 2
- mysql 导入到 hive 的命令
(这个命令里要有 --hive-import )
bin/sqoop import \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--fields-terminated‐by ',' \
--hive-import \
--hive-table t_emp \
--hive-database myhive \
--table emp \
--split-by id \
--m 2
- 也可以带条件(自己看着插到上面的命令行中)
#where
-- where "id > 1205 " \
#或者query ,(这个不支持 hive 的功能 )
--query 'select id,name,deg from emp WHERE id>1207 and $CONDITIONS' \
#导入增量
--incremental append \
--check-column id \
--last-value 1208
- 数据导出到hive 中
bin/sqoop import \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--hive-import \
--fields-terminated‐by ',' \
--hive-database myhive \
--hive-table xxoo \
--split-by id \
--m 2
- 数据导出到mysql 中
bin/sqoop export \
--connect jdbc:mysql://hbase1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--input-fields-terminated‐by ',' \
--export-dir /user/hive/warehouse/myhive.db/xxoo/
7.2 sqoop的配置要点
- sqoop-env.sh 里面修改三个配置
export HADOOP_COMMON_HOME=/home/hbase/apps/hadoop‐2.8.1
export HADOOP_MAPRED_HOME=/home/hbase/apps/hadoop‐2.8.1
export HIVE_HOME=/home/hbase/apps/hive‐1.2.1
- 测试是否安装成功的命令
./sqoop‐list‐databases \
‐‐connect jdbc:mysql://localhost:3306 \
‐‐username root \
‐‐password 123456
- 需要将mysql 的连接驱动jar 包导入到 lib 中