- 博客(8)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 (第二弹)Elasticsearch-----节点类型分工
1. 客户端节点 当主节点和数据节点配置都设置为false的时候，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求。2. 数据节点 数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚...
2019-06-29 20:18:31
208
原创 (第五弹)Flink——Flink 异步IO (附带RichAsyncFunction实战)
Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。背景 对于实时处理，当需要使用外部存储数据染色的时候，需要小心对待，不能让与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。如果我们是使用传统方式mapfunction等算子里访问外部存储，实际上该交...
2019-06-26 11:20:45
5063
1
原创 kylin利用ab压力测试
自定义post.txt文件{ "sql":"SELECT count(1) FROM tablename WHERE 1 = 1 and id IN ( 'aabbcc' ) and type IN ( 'weixin' )", "offset":0, "limit":50000, "acceptPartial":false, "project":"proje...
2019-06-28 15:22:03
325
原创 flume写入hdfs参数详解以及很多小文件问题
Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。一、参数配置详解type hdfspath 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。...
2019-06-26 18:49:26
2587
2
原创 (第三弹)Flink——Flink源码调试
对于一个新框架的学习，第一步往往是对源码初步了解和DEBUG。这些都是学习的套路。 本文主要是讲讲flink的源码编译，案例运行，flink源码调试过程。调试flink的源码及案例，需要先clone工程，编一下源码，去掉规范检查，修改工程，最后才是调试运行。一、clone源代码git clone https://github.com/apache/fli...
2019-06-25 15:44:21
1067
原创 HMaster因zookeeper连接超时自杀
缘由 hbase在上线一段时间后，发现HMaster经常会自杀挂掉，具体报错如下报错2019-06-14 11:24:07,242 WARN [master/ms-fibo-test-dataserver4/172.16.201.239:16000-EventThread] client.ConnectionManager$HConnectionImplementatio...
2019-06-14 12:34:40
2452
原创 flink on yarn 运行异常 NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
flink on yarn模式启动时报错：18/08/25 17:29:28 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.018/08/25...
2019-06-06 16:01:25
942
原创 使用autossh在外网访问内网服务器并设置代理
Part1、需求一缘由 内网服务器A需要访问外网服务器B中内网的某些应用，但是外网服务器并不开放这些服务的端口，因此需要设置代理访问！操作 A服务器上的操作：# 安装autosshyum -y install autossh# 需要将A的公钥放到B的服务器上ssh-copy-id B_IP# -M参数，这个参数指定一个端口，这个端口是外网...
2019-06-06 09:53:15
731
推荐系统算法工程师——从入门到就业.txt
2019-11-26
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
2019-06-06
apache-kylin-2.6.2-bin-hadoop3.tar.gz
2019-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人