- 博客(4)
- 收藏
- 关注
RSS订阅原创 记Spark写数据到Elasticsearch的报错
刚开始报错 NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{vYp6vo2qS0yskpnpqFGVDg}{node01}{192.168.81.100:9300}]] 网上查了各种资料，发现这个报错是应为netty的包冲突导致的。 在proprojectStructur...
2020-03-01 02:01:57
334
原创 hadoop集群时间同步
##hadoop集群时间同步 第一种方法 通过网络链接外网进行时间同步，必须保证虚拟机是可以联网的 通过阿里云的时钟同步服务器 crontab -e */1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com 第二种方式 通过某一台机器进行时间同步 所有操作必须在root用户下执行 1. 查看三台机器是否安装了ntp时钟同步工具 rpm -q...
2019-11-27 22:34:55
224
原创 Hbase读写流程和StoreFile合并
###1.简述hbase读写流程 ####1.1 读流程 客户端与zk进行连接；从zk找到meta表的region的位置，即meta表的数据存储在某个HReginServer上；客户端与这个HRegionServer建立连接，然后读取meta表中的数据； 根据要查询的namespace、表名、rowkey信息。找到对应的的region信息 找到相应的HRegionServer 找到...
2019-11-23 23:15:45
697
原创 Flume简介
1. Flume概念 Flume是Cloudera提供的一个高可用,高可靠，分布式的海量日志采集、聚合和传输的系统 Flume支持在日志系统中定制各种数据发送方，用于收集数据 Flume提供对数据进行处理，并写到各种不同的数据接收方的能力(可定制). 2. Flume架构 Flume的核心是把数据从数据源收集过来再送到目的地，为了保证输送的成功，在送到目的地前flume会缓存数据，等到...
2019-11-23 23:13:38
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人