![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
James_Coder
这个作者很懒,什么都没留下…
展开
-
记Spark写数据到Elasticsearch的报错
刚开始报错NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{vYp6vo2qS0yskpnpqFGVDg}{node01}{192.168.81.100:9300}]]网上查了各种资料,发现这个报错是应为netty的包冲突导致的。 在proprojectStructur...原创 2020-03-01 02:01:57 · 326 阅读 · 0 评论 -
hadoop集群时间同步
##hadoop集群时间同步第一种方法通过网络链接外网进行时间同步,必须保证虚拟机是可以联网的通过阿里云的时钟同步服务器crontab -e*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com第二种方式通过某一台机器进行时间同步所有操作必须在root用户下执行1. 查看三台机器是否安装了ntp时钟同步工具rpm -q...原创 2019-11-27 22:34:55 · 214 阅读 · 0 评论 -
Hbase读写流程和StoreFile合并
###1.简述hbase读写流程####1.1 读流程客户端与zk进行连接;从zk找到meta表的region的位置,即meta表的数据存储在某个HReginServer上;客户端与这个HRegionServer建立连接,然后读取meta表中的数据;根据要查询的namespace、表名、rowkey信息。找到对应的的region信息找到相应的HRegionServer找到...原创 2019-11-23 23:15:45 · 685 阅读 · 0 评论 -
Flume简介
1. Flume概念Flume是Cloudera提供的一个高可用,高可靠,分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各种数据发送方,用于收集数据Flume提供对数据进行处理,并写到各种不同的数据接收方的能力(可定制).2. Flume架构Flume的核心是把数据从数据源收集过来再送到目的地,为了保证输送的成功,在送到目的地前flume会缓存数据,等到...原创 2019-11-23 23:13:38 · 170 阅读 · 0 评论