![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Arilk_QL
这个作者很懒,什么都没留下…
展开
-
云服务器搭建Hadoop集群DataNode下没有current文件夹
云服务器搭建Hadoop集群DataNode下没有current文件夹搭建过程遇到情况说明:购买云服务器搭建Hadoop集群和VM虚拟机搭建不一样在于像服务器有公网IP和内网IP,所以在配置hosts文件的时候本机hostname绑定内网IP,其他hostname绑定公网IP,即:内网IP地址 你的hostname公网IP地址 其他hostname通俗讲就是:bigdata111配置hostsbigdata111内网IP bigdata111bigdata112公网IP bigdata112原创 2020-09-19 22:23:29 · 4234 阅读 · 3 评论 -
flume实时数据解析
flume开发作用■ 实时解析处理传送过来的数据■ FTP文件备份■ FTP异常文件备份(查错和重跑使用)■ 数据清洗(拦截器)■ 数据标签生成■ 异常数据处理方便检测每天错误数据量。错误数据表里面去■ 推送清洗数据到kafka流程测试文件备份import org.apache.commons.io.FileUtils;import java.io.File;import java.util.List;import static java.io.File.separator原创 2020-06-04 22:11:40 · 678 阅读 · 0 评论 -
CentOS7搭建CDH5
CentOS7及Cloudera Manager此处省略两万字…………^_^环境要求1.1 内存分配觉得内存大的可以随性 ^_^1.2 本次安装需要的jar包jdk-8u144-linux-x64.tar.gzCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcelCDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.shacloudera-manager-centos7-cm5.12.1_x86_64.tar.gzmanifest.json原创 2020-05-28 23:24:46 · 207 阅读 · 2 评论