joez的专栏

原创 容器服务 kubernetes 系统组件介绍

1.前言  容器服务建立 kubernetes 集群后，系统默认建立一批 kubernetes 集群的系统组件与进程，理解他们的部署配置方式和含义，是优化集群,排除 k8s 集群故障的技术基础之一

原创 Linux 知识地图

1. 概述：   极客时间发表了 linux 知识体系的知识图谱，在参照其地图整理学习 linux 过程中，对原内容做了整理修改，并增加了容器篇等内容，图谱不少内容抄自原地图

原创 容器服务-Kubernetes知识图谱

1. 概述  容器服务 kubernetes知识图谱，部分内容参考网上一知识图谱，更加结合阿里云容器服务。

原创 FastJson 1.2.48的 bug

FastJson 新版1.2.48版的 bugfastjson bug 老有莫名的 bug 出现，如下代码：     @Test public void testJsonParser() throws IOException { InnerTemplateExecuteContext ctx=new InnerTemplateExecuteContext(); ...

原创 alibaba Otter binlog数据管理台manager权限配置修改

Otter是alibaba数据抽取的好工具，异地数据迁移方便且效率高，但是这几天安全部门盯上来了，因为Otter Manager管理了各个数据库的帐号，连接方式，密码，并且匿名用户都直接可以登录查看，安全部一个扫描就发现了，于是需要修改配置。Otter manager使用webx，所以只要修改webx.xml文件即可，otter\manager\deployer\src\main\resour

原创 Alibaba Otter实现扩展导入nosql DB和其它DB

简介：       Alibaba Otter和Canal是抽取mysqlbinlog的工具，可以在不修改任何业务程序的情况下，以极小的网络IO代价抽取业务数据库的数据到离线分析数据库，在网络状况良好的情况下，可以实现延时小于1s的近实时数据同步。但是他仅仅支持同步到mysql,oracle数据库，实际离线分析中，往往需要数据导入到Kafka,HBase,Cassandra,GreenPlum

原创 自己想部署和开发的数据中心平台

原创 ES集群读写分离

根据Elasticsearch中文社区《ES冷热分离(读写分离) hot, stale 场景》一篇整理并测试修改后实现 本项目按照该原理实现读写分离写的数据如果需要实时被读取，实际上不可能实现完全的读写分离的。 分区读写分离方法：假设 集群有8个节点，node1，node2，node3，node4 为热区,设置为hot，node5,node6,node7,node8 为冷区，设置为stable.

原创 es 主要内存使用大户

一、Segment Memory词典的前缀索引(Term Index)，具体概念参考相关文档。 别小看只是前缀的索引，如果索引库多，数据量大，每个节点达到10G不稀奇，node没节点heap内存才设置了32G啊。 :joy: 查看方法 _cat/segments _cat/segments?v&h=index,shard,segment,size,size.memory _cat/no

转载 网上干货 ElasticSearch详解与优化设计

原文 http://www.finalshares.com/read-64481、简介ElasticSearch（简称ES）是一个分布式、Restful的搜索及分析服务器，设计用于分布式计算；能够达到实时搜索，稳定，可靠，快速。和Apache Solr一样，它也是基于Lucence的索引服务器，而ElasticSearch对比Solr的优点在于： - 轻量级：安装启动方便，下载文件之后一条

原创 ES增加shield权限控制

一、安装shield1、安装好ElasticSearch集群，比如10个节点； 2、安装es的license插件，shield是商业软件，需要用它，不然没法启用： bin/plugin install license 3、安装shield插件：bin/plugin install shield 4、离线安装，就是下载插件，然后：bin/plugin install file

原创 Apache kylin开发环境搭建

官方文档太啰嗦，而且不跟我的习惯不和。 下面记录以下自己使用eclipse搭建kylin开发调试环境的过程。1、eclipse环境：包含maven的m2e插件，sysdeo tomcat插件，使用tomcat运行kylin,不使用官方的DebugTomcat,eclipse workspace关闭各种无用的validator，尤其是javascript的;2、hadoop,hbase,hive搭建

原创 在Window下SolrColud 5.0二次开发环境部署。

SolrCloud和Elasticsearch是当前使用最广泛的基于Lucene的全文索引解决方案。当你的系统数据单表达到1亿级别以上时，为了更强大的模糊查询和实时分析功能，强烈建议使用以上2中全文索引，来解决性能瓶颈问题。当然，为了去MIO需求，还可以考虑将数据库系统向MPP的postgres-xl，HBase等迁移。