笔记
无发可脱丶
一起学习使我快乐,哈哈哈
展开
-
Flume监控Hive日志并上传到HDFS
一、 实时监控单个追加文件1.需求:实时监控Hive日志,并上传到HDFS2.实现步骤:(1)上传Hadoop相关jar包到flume/lib目录下flume相关jar包https://blog.csdn.net/Dj_hanhan/article/details/110097742(2)进入usr/flume/job目录,创建flume-file-hdfs.conf 文件# Name the components on this agenta2.sources = r2a2.sinks原创 2020-11-24 22:21:06 · 1171 阅读 · 0 评论 -
Flume监听端口数据
2.1 监控端口数据实例(1)需求:使用Flume监听一个端口,收集该端口数据并打印。(2)实现步骤:1.安装netcat工具yum install nc #安装netcat工具如果无法下载并报错"正在尝试其他镜像…”使用yun clean all 和rpm --rebuilddb 应该可以解决。2.判断端口是否被占用netstat -tunpl | grep 44444如果报错-bash netstat找不到命令安装net-tools即可`yum install ne原创 2020-11-24 22:02:14 · 946 阅读 · 0 评论 -
flume-安装部署
1.1 Flume定义Flume是Choudera提供的一个高可用,高可靠的,分布式海量日志采集,聚合和传输的系统。Flume基于流式架构,灵活简单。Flume作用:实时读取服务器本地磁盘的数据,将数据写到HDFS。1.2 Flume的优点1.可以和任意存储进程集成2.输入的数据速率大于写入目的存储的速率,flume会进行缓冲,减小hdfs的压力3.flume中的事务基础channel,使用了两个事务模型(sender+receiver),确保消息被可靠发送Flume使用两个独立的事务分别负责原创 2020-11-24 21:41:55 · 258 阅读 · 0 评论 -
Hadoop连接HDFS进行API操作
1、概述Hadoop提供了Java的API用于处理程序的开发及应用,搭建开发环境能够方便大型程序的开发与调试,完成的代码无需部署,通过eclipse就能执行并输出结果,代码直接从HDFS读取并输出数据。2、所需文件...原创 2020-06-10 11:47:46 · 688 阅读 · 0 评论 -
connect to host slavenode1 port 22: No route to host
报错信息:[root@masternode1 ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub slavenode1/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_dsa.pub"/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that a原创 2020-06-03 19:43:54 · 2171 阅读 · 0 评论 -
Error contacting service. It is probably not running.//zkServer.sh start报错解决
zkServer.sh start可以正常启动,jps可以查看到QuorumPeerMain进程[root@masternode1 conf]# jps16500 Jps16349 QuorumPeerMain报错信息:[root@masternode1 conf]# /usr/zookeeper-3.4.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /usr/zookeeper-3.4.6/bin/../conf/z原创 2020-06-02 11:39:03 · 398 阅读 · 1 评论 -
hadoop网络互通,centos7虚拟机版
以三台虚拟机为例,首先需要设置虚拟机配置,关闭防火墙等操作:1、将网络设置为桥接模式:2、关闭真实电脑防火墙以下操作三台机都需要设置:3、关闭虚拟机防火墙:systemctl stop firewalld.service #关闭防火墙服务systemctl disable firewalld.service #禁止防火墙开机启动4、修改虚拟机的主机名hostnamectl set-hostname 新主机名如改为:↓(使用命令hostname可以查看到主机名是否修改成功)master原创 2020-05-20 09:02:42 · 221 阅读 · 0 评论 -
伪分布式Hadoop
关于Hadoop基础环境的搭建,在虚拟机中如何安装JDK和Hadoop呢?如何把jdk文件上传到虚拟机中呢?话不多说,先奉上我们要安装的JDK和Hadoop以及WINSCP传输软件提取码:jlto一:安装JDK1、安装WINSCP如果用VM自带的tool工具有可能会引发诸多问题,所以我推荐使用winscp,较为方便快捷。首先安装好winscp,保持虚拟机在开机状态,网络无异常,可以用pin...原创 2020-03-20 21:04:05 · 184 阅读 · 0 评论 -
Hadoop基础环境搭建
大家好,我是一名大一的学生,身为一个刚刚开始接触Hadoop的小白,写博客的主要目的是为了巩固自己在老师那里所学到的一些知识,并且分享自己的知识,希望能帮到一些跟我一样刚接触Hadoop的学者。好笔记不如烂笔头,这是一个从零到一的过程,一起加油吧~百度是最好的老师,这里的安装过程不加赘述,可以百度,在CSDN搜索等等……1、我们需要安装好15版本的虚拟机提取码:a92y2、准备好iso镜像...原创 2020-03-14 18:21:48 · 192 阅读 · 0 评论