使用hangout将Kafka数据实时清洗写入ClickHouse

								https://blog.csdn.net/huochen1994/article/details/78771379				</div>
							            <div id="content_views" class="markdown_views">
						<!-- flowchart 箭头图标 勿删 -->
						<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg>
						<h2 id="使用hangout将kafka数据实时清洗写入clickhouse"><a name="t0"></a>使用hangout将Kafka数据实时清洗写入ClickHouse</h2>

---

什么是Hangout

Hangout可以说是JAVA版的Logstash，可以进行数据收集、分析并且将分析后的结果写入指定的地方
项目地址

什么是ClickHouse

ClickHouse是一个数据分析的数据库，由Yandex开源
项目地址

什么是hangout-output-clickhouse

hangout-output-clickhouse是一个将数据源中的数据实时写入ClickHouse的插件。
项目地址

使用方法

• 从项目release中下载jar包，放置hangout/modules目录下
• 插件使用

- com.sina.bip.hangout.outputs.Clickhouse:
        host: clickhouse.bip.sina.com.cn:8123
        database: apm
        table: apm_netdiagno
        fields: ['_device_id', '_ping_small', '_domain', '_traceroute', '_ping_big', 'date', 'ts', '_snet']
        bulk_size: 500
具体使用方法参考Hangout with Clickhouse