![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
赵大龙
丫头,你还好吗?
展开
-
hadoop 基础环境搭建
Backgroundcynric-111 ,cynric-112 ,cynric-113 三台主机每台机器一块80G ssd盘做为根盘(vda)每台机器一块100G ssd盘做为数据盘 (vdb)每台机器一块2T sata盘做为数据盘 (vdc)一、步骤1.免密码登录修改三台机器 /etc/hosts 文件如下192.168.xx.111 cynric-111192.168...原创 2019-11-26 02:19:31 · 621 阅读 · 0 评论 -
flume 1.9 源码阅读(四) Source配置
上一篇文章最后说到了AgentConfiguration这个类,他是flume配置文件中最核心的东西。我们先放一放看一下flume配置文件到底都有哪些东西然后回头再来看这个类以及sources、channels、sinks等组件是如何实例化的。从官网上扒下来的一些资料:AvroSource属性名称默认值描述channels-sources要连接的channels...翻译 2019-11-13 11:43:07 · 1726 阅读 · 0 评论 -
flume 1.9 源码阅读(三)
Flume-NG Configuration上一节,看完了flume启动脚本,其中里面解析了各种用户传入的参数,并将其作为参数传给了 org.apache.flume.node.Application。 本节从 Application 入口类了解一下 flume-ng 如何启动。以及 flume-ng-configuration 模块是如何解析配置文件的。org.apache.flume.no...原创 2019-11-11 17:50:15 · 463 阅读 · 0 评论 -
flume 1.9 源码阅读(二)
Flume NG 启动脚本分析启动 flume-ng-agent/root/flume/bin/flume-ng agent --name agent1 -c conf -f flume-conf.conf配置文件如下:agent1.sources = source1agent1.channels = channel1agent1.sinks = sink1agent1.sour...原创 2019-10-30 11:21:47 · 253 阅读 · 0 评论 -
flume 1.9 源码阅读(一)
Flume源码阅读Flume NG和 Flume OG 相比Flume 源码目录结构Flume 结构数据流模型参考:https://www.jianshu.com/p/0187459831afhttp://flume.apache.org/FlumeUserGuide.htmlFlume NGFlume 是一个分布式的、可靠的、高效的日志采集、聚合、转移系统。他可以从多个不同的Sourc...原创 2019-10-29 17:45:31 · 800 阅读 · 0 评论 -
ES学习笔记
ES学习笔记Elasticsearch安装可以到官网下载很快的,懒的同学可以使用下面的传送门 es2.4.2 安装包 :https://pan.baidu.com/s/1c2hM6J2 lduh es6.0.1 安装包 :https://pan.baidu.com/s/1dFIYshV fq70本人习惯把相关东西都解压到/usr/local/文件夹下:#tar zxvf es下载路径 es安原创 2017-12-14 20:25:36 · 329 阅读 · 0 评论 -
ES学习笔记(二)
创建索引我们在之前已经建立过一个索引fruits了。方法如下:curl -XPUT localhost:9200/fruits创建成功后命令行会返回如下:{ "acknowledged":true}那么究竟在执行完这个方法以后,ES创建了哪些东西呢?我们打开浏览器输入 localhost:9200/_plugin/head 来查看下,点击信息索引信息。如下图:对于这个索引值来说有2个比较重原创 2017-12-15 10:28:44 · 425 阅读 · 0 评论 -
Spark【学习笔记】 textfile读取 HDFS 文件分区 [压缩与非压缩]
Flume本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl +原创 2018-10-15 17:51:17 · 6590 阅读 · 0 评论