- 博客(4)
- 收藏
- 关注
RSS订阅原创 数据清洗代码
ETLDriver import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.Fil.
2021-07-05 15:57:35
587
原创 小型数据采集平台
1. 将IntelliJ IDEA中写好的程序打成jar包导出，移入Linux中 执行Jar程序 ，比如： [root@JHB0 module]$ java -classpath log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.root.appclient.AppMain >/opt/module/test.log 2.查看 /opt/module/data下的新生成的日志文件 ========================...
2021-07-05 11:37:38
203
原创 Flume复制和多路复用
Flume安装： 1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 [root@JHB0 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/ 2.改名 mv apache-flume-1.7.0-bin flume 3.修改配置文件 [root@JHB0 conf]$ mv flume-env.sh.template flume-env.sh [root@JHB0 conf]
2021-07-05 10:42:38
266
原创 Hadoop集群搭建
1. 安装好linux / 15360 /boot 200M /swap 2048 2.关闭防火墙 service iptables stop chkconfig iptables off 3.设置静态IP，改主机名 编辑vim /etc/sysconfig/network-scripts/ifcfg-eth0 改成 ================================= DEVICE=eth0 TYPE=Ether...
2021-07-05 10:31:23
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人