- 博客(17)
- 收藏
- 关注
RSS订阅原创 Tengine安装
关于nginx是什么这里不进行赘述，这里安装的是Tengine，Tengine是nginx的封装加强版，由淘宝开源。下面进行编译安装。 （1）安装依赖yum -y install gcc openssl-devel pcre-devel zlib-devel（2）配置 相关配置参数说明：./configure \ //安装的目录--prefix=/usr \ //执行
2018-01-31 22:49:37
336
原创 Spooling Directory Source 使用
在使用exec来监听数据源虽然实时性较高，但是可靠性较差，当source程序运行异常或者linux命令中断，都会造成数据的丢失，再恢复正常运行之前，数据的完整性无法得到保证。 Spooling Directory Source通过监听某个目录下的新增文件，并将文件的内容读取出来，实现日志信息的收集。实际使用中会结合log4j进行使用。被传输结束的文件会修改后缀名，添加.completed后缀（可
2018-01-29 17:05:01
1706
原创 Flume HA
flume的HA就是HDFS的HA，如何配置HDFS HA可以查看HDFS高可用（HA）配置 HDFS HA配置好了以后，为了Flume能够访问HDFS HA，将hdfs的配置文件core-site.xml，hdfs-site.xml拷贝到flume的配置目录conf下，让flume自己去解析即可。
2018-01-29 10:37:20
1302
原创 编写agent，执行tail命令将文件导入hdfs，并设置以时间为目录进行存放
文件内容如下：#define agentagent.sources = r2agent.channels = c2agent.sinks = k2# defined source agent.sources.r2.type = execagent.sources.r2.command = tail -f /home/bxp/Documents/doc/flume/test.l
2018-01-28 23:37:14
464
原创 Flume安装与第一个Agent应用
安装（1）编辑flume-env.sh配置文件，配置javahomeexport JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131（2）将flume与hdfs集成的jar包导入的到flume的lib目录下（自行度娘下载）。命令bin/flume-ng agentglobal options（全局选项）：--conf
2018-01-28 00:11:59
726
原创 初识flume
flume由clouder公司开发并且开源。flume是一个分布式可靠的进行数据收集，聚合，移动的框架，他进行数据的实时收集。flume架构简单灵活，由java编写，只能够支持linux操作系统。flume分布式架构：每个服务器上都有日志，再每个服务器安装flume客户端 flume日志收集架构： Flume只有一个角色的节点，agent角色，agent由source，
2018-01-27 19:21:11
250
原创 数据从mysql中导入hive表中异常解决：
将数据从mysql中导入hive表中，出现异常ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf.ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DI
2018-01-27 15:21:33
2156
1
原创 hive创建表异常解决
hive创建表异常com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes解决办法： 登陆mysql，修改hive元数据数据库编码格式：alter database hive character set latin1;
2018-01-27 15:15:32
2239
原创 sqoop的安装与使用
安装（1）编辑sqoop配置文件sqoop-env.sh,添加如下配置：export HADOOP_COMMON_HOME=/home/bxp/install/hadoop-2.6.0-cdh5.10.0export HADOOP_MAPRED_HOME=/home/bxp/install/hadoop-2.6.0-cdh5.10.0export HIVE_HOME=/home/bxp
2018-01-27 15:05:20
2095
原创 docker网络链接——容器互联
容器间互联默认情况下，在同一宿主机中运行的docker容器都是能够进行网络链接的。 docker关闭和重启会导致容器的ip地址发生变化，所以容器提供的服务不能够以IP地址进行相互链接 通过docker run –link选项指定容器的代号，直接通过代号进行容器的访问docker run --link=[container_name]:[Alias] [image] [command
2018-01-16 22:04:20
398
原创 docker网络链接——网桥
docker0简介安装好docker，并启动docker服务后，通过ifconfig查看本机的网络设备。 可以看到有一个名为docker0的网络设备，docker0是linux的虚拟网桥。docker的守护进程就是通过docker0为docker容器提供网络链接的。linux虚拟网桥的特点： （1）网桥属于数据链路层设备，但是linux虚拟网桥可以设置IP地址。 （2）相当于拥
2018-01-16 18:08:58
551
原创 dockerfile构建过程与构建缓存
构建过程（1）从基础镜像中运行一个容器 （2）执行一条指令，这条指令将会对容器进行修改 （3）对修改后的容器进行类似docker commit的操作，提交一个新的镜像层。 （4）基于新的镜像层运行一个新的容器 （5）执行dockerfile中的下一条指令，反复如此，直到所有的指令执行完毕。 注意：提交一个新的镜像层后，会将刚刚创建的容器进行删除。但是不会删除中间层创建的镜像。我们可以
2018-01-15 21:19:16
773
原创 dockerfile指令祥解
（1）FROMFROM FROM :imageName必须是已存在的镜像。 FROM必须是第一条非注释的指令。（2）MAINTAINERMAINTAINER name>指定镜像的作者信息，包含镜像的所有者和联系信息（3）RUN指定当前镜像中运行的命令RUN (shell 模式)//RUN echo helloRUN ["executable", "
2018-01-15 20:42:20
188
原创 docker镜像操作命令
（1）列出本地镜像docker images [REPOSITORY] REPOSITORY：仓库，一类仓库，比如centos和ubanto。REGISTRY也是仓库，他是所有镜像的仓库。REGISTRY包含多个REPOSITORY仓库。REPOSITORY中为具体的同一类镜像的不同版本。 TAG：REPOSITORY中不同的镜像通过TAG进行区分，REPOSITORY和TAG共同
2018-01-15 15:03:02
1959
原创 docker容器基本命令
（1）使用镜像启动docker容器//（1）启动镜像并运行命令sudo docker run centos echo 'hello word'//（2）启动交互式终端sudo sudo docker run -t -i centos /bin/bash-t 选项让Docker分配一个伪终端（pseudo-tty）并绑定到容器的标准输入上， -i 则让容器的标准输入保持打开。查看容
2018-01-14 21:09:42
3028
原创 配置docker非root用户操作
1、创建docker用户组 sudo groupadd docker2、将当前用户添加到docker用户组 sudo gpasswd -a bxp docker3、重启docker服务sudo systemctl restart docker4、注销当前登陆用户重新登陆
2018-01-14 17:46:03
2031
原创 docker安装
此处安装docker使用的是centos7操作系统1、安装sudo yum install docker2、启动docker服务sudo systemctl start docker3、获取centos镜像sudo docker pull centos4、查看镜像sudo docker images5、使用镜像启动docker容器//（1
2018-01-14 17:44:16
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人