xzx0524的专栏

业务中经常需要对接第三方服务，常用的对接方式就是使用 http json 接口，有些 json 格式较为复杂，使用php数组进行数据交互非常麻烦，非常容易出错。$responseStr = '{"foo":"bar", "hello":"world"}';$responseArr = json_decode($responseStr, true);if($responseArr["fooo"] == "foobar") { // do sth.}现在 IDE 比如 PHPStorm 也不

前情提要上一篇中颗粒fencex讲到，Flink项目的初始化，主要介绍了，项目创建，依赖管理和工程配置管理。详见：Flink项目最佳实践（一）：初始化项目本文讲解如何实现一个「从 websocket 读取数据，实时写入到硬盘的程序」，模拟实时 ETL ，目标本小节旨在...

前提Maven >= 3.0.4 和 Java 8.x，使用 IDEA 来开发项目。创建项目$ mkdir -p /data/datacenter;$ cd /data/datacenter;$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.fl...

Spark Streaming 和 Flink 解决实时ETL写入hive小文件过多问题。Spark Streaming 实时消费kafka入hive，一般控制批次数据在1分钟以内，甚至30s，而hive分区一般都会按照小时分区，就会导致小文件数据非常多。