大数据
wordCount
整个新号,见证成长
展开
-
Kettle的安装和使用
Kettle的安装和使用1.本地环境安装解压文件,双击Spoon.bat操作文件使用Mysql相关的表输入输出组件以及hive的组件需要自己上传mysql驱动本机整合大数据环境整合Hadoop平台hadoop下载核心配置文件sz /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xmlsz /...原创 2019-11-25 15:30:07 · 422 阅读 · 0 评论 -
flume1.7 新特性
flume1.7 新特性1.taildir1.7版本之前在flume1.7之前如果想要监控一个文件新增的内容,我们一般采用的source 为 exec tail ,但是这会有一个弊端,就是当你的服务器宕机重启后,此时数据读取还是从头开始,这显然不是我们想看到的! 在flume1.7没有出来之前我们一般的解决思路为:当读取一条记录后,就把当前的记录的行号记录到一个文件中,宕机重启时,我们...原创 2019-11-25 08:57:55 · 338 阅读 · 0 评论 -
CentOS 7.X使用yum源安装MySQL 5.7.20安装详解
1原创 2019-11-21 09:37:47 · 187 阅读 · 0 评论 -
CAP理论
#CAP理论 主要描述的是任何分布式系统中最多只能同时满足以下三点中的两点Consistency(一致性):数据一致更新,所有数据变动都是同步的,强调数据的正确性数据同步成功是一致性最根本表现数据同步不成功,用户访问同步失败的副本节点时不返回数据或者返回错误信息也是一致性Availability(可用性):良好的响应性能,尽量保证正常工作,不轻易报错。Partition tole...原创 2019-09-28 13:48:17 · 120 阅读 · 0 评论