好刹那的专栏

Hive metastore三种配置方式Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。一、本地derby这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可[html]view plainc...

Hadoop2.x的namenode界面访问端口默认是：50070Hadoop3.x的namenode界面访问端口默认是：9870通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改： cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...

##示例字段 JSON_TEXT ，格式化后数据：{ "SurveyResult":[ { "SurveyObjType":"0", "Score":"10" }, { "SurveyObjType":"2", "Score":"10" } ], "SurveyReqID":"20191113XXXXXXXXX123456789"}1、取k...

一、原因是namenode和datanode的clusterID不一致导致datanode无法启动.二、解决：2.1思路：删除data、tmp、namenode 数据后，重新格式化。2.2步骤：查看tmp的物理路劲 core-site.xml <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>ha...

信息来自官网：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_packaging.htmlCDH 6.3.2 PackagingComponent Component Version Changes Information Apache Avro ...

本篇文章主要介绍了VMware安装Centos7超详细过程（图文），具有一定的参考价值，感兴趣的小伙伴们可以参考一下1.软硬件准备软件：推荐使用VMwear，我用的是VMwear 12镜像：CentOS7 ,如果没有镜像可以在官网下载 ：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804...

什么是智能边缘智能边缘是描述一个过程的术语，在该过程中，数据在靠近网络捕获位置的位置进行分析和聚合。智能边缘，也被称为“边缘情报”，对包括物联网（IoT）在内的分布式网络具有重要影响。利用智能边缘，系统的远程或分散节点有权执行传统上在系统中心点处理的不同类型的数据处理。特别是在 IoT 中，将来自物联网连接设备的所有多个数据流路由到中央数据仓库或存储库的经典模型具有几个明显的缺点。它可...

　　传统企业平台都是烟囱式的系统架构，企业内部为了迎合业务发展不停的打造各种系统，导致各系统间的重复功能建设和维护带来的重复投资。重复投资不仅消耗的是人力，财力还有时间。但打通烟囱式系统间交互的集成和协作成本高昂，各大企业不得不借助ESB产品，构建企业服务总线，打通各系统间的交互问题。　　但这种借助ESB“中心化”的服务架构缺点也有不少，“中心化”架构的所有服务调用者和服务提供者之间的交互都必...

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈。它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成，shardingSphere定位为关系型数据库中间件。1. Sharding-JDBCSharding-JDBC是Sharding-Sphere的第一个产品，也是Sharding-...

1.1 数据库管理系统　　　　在了解MongoDB之前需要先了解先数据库管理系统1.1.1 什么是数据？　　数据（英语：data），是指未经过处理的原始记录。　　一般而言，数据缺乏组织及分类，无法明确的表达事物代表的意义，它可能是一堆的杂志、一大叠的报纸、数种的开会记录或是整本病人的病历纪录。数据描述事物的符号记录，是可定义为意义的实体，涉及事物的存在形式。是关于事件之一组...

参考原文，实际操作，成功。操作系统是：B.11.31安装的是Itanium_JDK_8.0.18_June_2019_Z7550-96733_java8_18018_ia.depot 。需要root权限。注意事项：（1）安装包，一定从官网下载，避免有木马，下载前需要注册HP账号（如果能翻墙，速度快不少）。https://h20392.www2.hpe.com/port...

文章目录一、rocketMQ二、Kafka三、应用场景对比四、RocketMQ和Kafka对比1. 吞吐量对比五、为什么阿里会自研RocketMQ？六、分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖？参考一、rocketMQRocketMQ联合创始人：选择MQ时，要注意的有哪些？参考URL: https://blog...

1、是什么1.1. Java Message ServiceJMS即Java消息服务（Java Message Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。JMS允许应用程序组件基于JavaEE平台...

一、jenkins是什么？ Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具，起源于Hudson（Hudson是商用的），主要用于持续、自动的构建/测试软件项目、监控外部任务的运行（这个比较抽象，暂且写上，不做解释）。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。通常与版本管理工具(SCM)、构建工具结合使用。...

一、Dubbo是什么？Dubbo是阿里巴巴开源的基于 Java 的高性能 RPC（一种远程调用） 分布式服务框架（SOA），致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。二、为什么要用Dubbo？因为是阿里开源项目，国内很多互联网公司都在用，已经经过很多线上考验。内部使用了 Netty、Zookeeper，保证了高性能高可用性。1、使用Dubbo可以将核心业...

分布式系统技术概要现在互联网应用，尤其是大型互联网公司的应用已经发展为大规模或超大规模的分布式的，集群化的应用。而中小规模的分布式应用也已广泛出现在各个领域。未来，随着云计算向社会生活的方方面面去渗透，分布式应用将更加地普及。所以，任何一个要从事服务器端应用开发的人员，都有具备对分布式应用的基本认识。本文将简要介绍分布式应用的各基本领域的相关技术。这些技术在一个分布式应用中都会有或多或少的...

前提：zookeeper 可视化WEB工具zkui依赖java环境，因此需要安装jdk,同时zkui源码要Maven编译，需要安装apache-maven.JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlApache-maven下载地址：https://m...

Zookeeper是什么官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象，简单来说zookeeper=文件系统+监听通知机制。1、 文件系统Zookeeper维护一个类似文件系统的数据结...

Netty、NIO理清NIO与Netty的关系之前，我们必须先要来看看Reactor模式。Netty是一个典型的多线程的Reactor模式的使用，理解了这部分，在宏观上理解Netty的NIO及多线程部分就不会有什么困难了。Reactor模式Reactor的由来Reactor模式究竟是个什么东西呢？这要从事件驱动的开发方式说起。我们知道，对于应用服务器，一个主要规律就是，CPU的处理速...

第一步，关闭服务 1. 关闭集群服务，及 Cloudera Management Service， 2. 关闭cm服务：（ cm安装节点 ） 命令 ： service cloudera-scm-server stop service cloudera-scm-agent stop( 没有可忽略 )第二步：修改所有主机IP，测试IP网络互通...