逆流的博客

K8S初探——基本概念+服务启动核心概念Pod：Pod是在K8s集群中运行部署应用或服务的最小单元，它是可以支持多容器的。Pod的设计理念是支持多个容器在一个Pod中共享网络地址和文件系统，可以通过进程间通信和文件共享这种简单高效的方式组合完成服务。（Pod是一组容器的组合，这些容器一起合作对外提供一个服务）复制控制器（Replication Controller，RC）RC是K8...

sqoop连接 sqoop import –connect jdbc:mysql://localhost/db –username name –password 12345手动指定驱动 –driver com.microsoft.jdbc.sqlserver.SQLServerDriver 数据导入hive –hive-import 写sql语句导入 –query ‘selec

HA架构

方法一 createStream基于Receiver　　这种方法基于Receiver来接收数据，使用kafka高级自定义API实现。和所有的receivers一样，这种接收方式通过Receiver从kafka接收数据存储到Spark executors节点，然后运行job通过Spark Streaming处理数据 　　然而，默认配置下，这种方法在执行失败时会丢失数据（查看Receiver可靠性）。

WebServicescala调用webservice

如果感兴趣，可以移驾我的博客，原文地址：https://hywelzhang.github.io/2017/11/03/%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA-CDH%E6%90%AD%E5%BB%BA.html大数据集群 ，集群搭建，hadoop搭建，hive搭建，spark搭建

记得曾听人说过，最重要的构建起自己的思维体系。现在隐隐约约能够有些理解，成长就是建立并不断完善自己思维体系的过程。很久没写东西，但是对于最近的这几本书我觉得带给我蛮多惊喜，给了我不同的视角去看事情，需要将自己的一点点想法化成文字记录下来。仅对于大数据这块，浅谈一下自己想法。作为一只小码农，兵来将挡水来码掩，一心扑在实现具体需求上，只注重技术实现，而没有从整体，站在更高的视角去看待数据问题。大数...