jjkang的博客

原创 HBase架构图

原创 shell调用shell的几种方式

shell调用shell的几种方式[root@zk1 shell]# ll总用量 12-rwxr-xr-x. 1 root root 28 4月 11 17:05 hello.sh-rwxr-xr-x. 1 root root 294 4月 11 17:04 usessh.sh[root@zk1 shell]# [root@zk1 shell]# cat hello.sh #...

原创 azkaban安装

azkaban安装azkaban web服务器安装azkaban 执行服器安装创建azkaban的数据库创建SSL配置修改时区azkaban web服务器配置azkaban 执行服务器executor配置用户配置启动web服务器执行服务器访问安装azkaban需要提前安装好mysql服务器azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz...

原创 flume采集日志文件到hdfs

flume采集日志文件到hdfs配置文件启动命令运行结果flume可以从正在输出的日志文件中采集数据存到hdfs中配置文件agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure tail -F source1agent1.sources.source1....

原创 flume采集目录文件到HDFS

flume采集目录文件到HDFS配置配置# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /root/h...

原创 flume简单实例

flume实例实例一配置文件运行结果实例一配置文件# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置source组件：r1a1.sources.r1.type = netcata1.sources.r1.bind = 192.168.56.160a1.sources.r1.port = 4...

原创 hbase安装

hbase安装下载、解压（Hbase版本0.99）修改配置文件core-site.xmlhbase-env.shhbase-site.xmlhdfs-site.xmlregionservers分发到其他主机启动启动后的进程zk1zk2zk3测试下载、解压（Hbase版本0.99）修改配置文件core-site.xml<configuration> <pro...

原创 HA集群安装

HA集群安装硬件准备安装jdk安装zookeerper安装hadoop上传、解压修改core-site.xml文件修改mapred-site.xml修改yarn-site.xml修改hdfs-site.xml修改slaves配置hadoop_home分发到其他虚拟机中启动启动zookeeper集群启动journalnode格式化HDFS格式化ZKFC启动HDFS启动YARN测试硬件准备七台虚...

原创 zookeerper集群安装

zookeerper集群安装将安装包上传到虚拟机解压修改配置文件创建目录设置myid分发到其他主机将安装包上传到虚拟机解压修改配置文件[hadoop@hadoop6 ~]$ cat app/zookeeper/conf/zoo.cfg # The number of milliseconds of each ticktickTime=2000# The number of ticks...

原创 hive安装

hive安装上传、解压修改配置hive-env.sh配置vi hive-site.xml将mysql的jar包拷贝到lib路径下Jline包版本不一致的问题mysql 权限问题上传、解压修改配置hive-env.sh配置# Licensed to the Apache Software Foundation (ASF) under one# or more contributor li...

原创 hosts ‘192.168.56.1’ is not allowed to connect this mysql server

开启msyql的远程登录 #(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES;...

原创 centos6.5 安装 MySQL

centos6.5 安装 MySQL删除自带的mysqlyum list installed | grep mysql # 查看是否安装mysqlyum -y remove mysql-libs.x86_64 #删除安装yum list | grep mysqlyum install -y mysql-server mysql mysql-deve启动服务se...