五只鸭子的专栏

Hadoop作为大数据的分布式计算框架，发展到今天已经建立起了很完善的生态，本文将一一介绍基于Hadoop生态的一系列框架和组件。Flume简介：Flume 是一个分布式、高可用的服务，用于高效收集、聚合和移动大量日志数据。作用：Flume 主要承载的作用是收集各个数据源的事件或日志数据，然后将其Sink到数据库架构Flume的实现架构原理也非常简单，通过Agent代理来实现数据的收集，一个Agent包含了Source，channel，Sink三个组件。Source：采集的数据来源

Hive概述架构于Hadoop之上，可以将结构化的HDFS文件映射成一张表，并提供了类似于SQL语法的HQL查询功能核心本质：将HQL语句转换成MapReduce任务Hive的主要优缺点优点：避免了开发人员去实现Map和Reduce的接口，大大降低了学习成本HQL语法类似于SQL语法，简单、容易上手缺点：执行效率比较低 Hive生成的MapReduce任务，不够智能化，容易造成数据倾斜Hive架构图每个模块负责的内容：Meta Store: 元数据，一般存储在mysqlClient

企业为什么要做数字化转型我们怎样看待这个世界？“数字孪生”概念的兴起让我们能以数字化的角度来看待这个物理世界，一切在物理世界的实体都能在数字世界里映射出来。借助数字孪生，可以将物理世界的实体进行建模映射在数字世界，在数字世界通过量化的方式，可以更加直觉的了解物理实体的状况。然后对量化的数据进行提炼挖掘和分析，提取出有用的信息，这些信息再输出给物理世界，从而帮助物理世界做出更为合理的行动和决策，帮助物理世界改进流程，再将改进的流程再次映射到数字世界，如此形成一个正向的循环。企业一旦形成这种正向的循环，

说明：此设计规范考虑了业务规范和数据处理的规范，其中的主键ID和etl_update_time字段的规范是为了方便数据平台分析处理数据。Common不要使用MySQL保留关键字建议级别：强制说明：不论是库名，表名，字段名，索引名等都不要使用MySQL保留的关键字。5.6版本的完整关键词参考MySQL官方文档：https://dev.mysql.com/doc/refman/5.6/en/keywords.html#keywords-5-6-detailed-A反例：from,time,key

据365储能及智慧能源能够调研数据整理，2021年中国储能企业20强和储能电池企业20强分别如下。储能行业集中度非常高，宁德时代和比亚迪处于领先的第一梯队，其中宁德时代一家就占据了市场的半壁江山储能电池上游的原材料主要包括正极材料、负极材料、电解液、隔膜以及结构件等；上游的集成系统设备主要包括涂布机、搅拌机等。目前储能电池主要以锂电池的形态存在，其上游原材料主要是锂电池上游的参与者。2012-2020年，锂电池开始被广泛应用，锂离子电池占全球电化学储能累计装机规模由2012年的26%提升至2019年

二八原则相信大家都耳熟能详了，并且绝大部分人已经认可二八原则的存在和合理性了，可是现实真的是这样吗？特别是在万恶的资本市场，二八原则同样适用吗？

swagger-ui-layer v1.0.0正式版发布swagger-ui-layer 简介主要更新功能待完成功能源码维护地址swagger-ui-layer 简介swagger-ui-layer 是一个基于swagger的前端UI实现，目的是为了让接口文档更直观，更漂亮，更好用。经过一年多的时间，6个非正式版的发布，终于迎来了第一个正式版的发布。感谢swagger-ui-layer 的co...

ElasticSearch es 插件开发1. 插件分类API Extension Plugins API扩展插件 通过添加新的API或功能向Elasticsearch添加新功能，通常与搜索或映射有关。 优秀插件代表： SQL language Plugin: 让 Elasticsearch 支持 SQL语句查询 (by NLPchina)Alerting Plugins 告警插...

ElasticSearch 聚合筛选，类似SQL里面的having 特别说明：文章所有内容基于ElasticSerch 5.5.3版本背景我们在实际业务场景中会遇到聚合筛选的需求，需要先分组然后聚合，再通过聚合的结果进行筛选，关系型数据库中有having或者子查询来实现，ES中key使用 bucket_selector 来实现此功能实际业务场景需要找出下单次数大于等于...

ElasticSearch join连接查询 特别说明：文章所有内容基于ElasticSerch 5.5.3版本ElasticSerch 的连接查询有两种方式实现nestedparent和child关联查询nested存储结构 nested的方式和其他字段一样，在同一个type里面存储，以数组的方式存储在type里，格式如下：PUT index...

JavaCV 第一个JavaCV程序JavaCV 简介JavaCV是一个计算机视觉领域的封装库，封装了包括 OpenCV，FFmpeg 等 GitHub： https://github.com/bytedeco/javacv 顺便附上 OpenCV 的文档地址： https://docs.opencv.org/master第一个JavaCV 程序使用J...

Eureka 作为一个云端负载均衡，本身是一个基于REST的服务，在 Spring Cloud 中用于发现和注册服务。 那么当成千上万个微服务注册到Eureka Server中的时候，Eureka Server 的负载将会很大，这样一旦Eureka Server服务挂掉了，整个微服务架构也就瘫掉了，所以在实际生产环境中不光要对注册在Eureka Server中的微服务进行集群管理

Swagger 自定义UI界面Swagger简单介绍如何使用Swagger 添加自定义UI界面使用swagger-ui-layer

hoe 是一个 Java 基础操作库，包括 String，number，random 等常规操作，几乎包含了大部分工作中用到的常用处理方法，也有详细文档。可以使用 Hoe 来轻松解决字符串，数字，随机数等的处理。整个包不依赖任何其他第三方库，也极其简单小巧，只有 18kb。

1、pip 需要安装Microsoft vc++ 编译模块,请确认先安装了此模块如果没有安装，就用Visio studio 安装下这个模块2、设置环境变量我设置了三个，分别对应不同的vs版本VS100COMNTOOLS = D:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\ToolsVS120COMN

Ghost镜像后连接数据库怎么也连不上，报下面两个错误ORA-27101: shared memory realm does not existORA-01033: ORACLE initialization or shutdown in progress试了各种方法都不管用查找原因最靠谱的方式是查看错误日志信息：日志文件在 ${oraclehome}\${databa

大多数网民上网的入口都是先打开百度，然后再搜索xxx,进入，为了给女神惊喜，决定篡改百度首页让女神惊呆，当然不是黑了百度，目前没这个实力，但是我们可以修改host文件，将www.baidu.com 指向自己的机器，或者你自己的云端服务器，然后当女神打开百度的时候就会打开你做好的网页了，她会惊讶的，哈哈哈。

不同的过程在原理上是相通的，如果你目前只是一个程序员，那么经过无数的经验值的提升，最终都会实现蜕变，成为一名架构师。从小白玩家到最后的架构师的成长之中，漫长而又艰辛，如何将自己有限的精力投入在职业技能的加点分布上呢？