hadoop
文章平均质量分 93
别过来胖到我了
这个作者很懒,什么都没留下…
展开
-
数据埋点日志收集测试环境搭建
1.前置环境安装准备1.1主机环境ip地址主机名称系统192.168.199.111mastercentos7192.168.199.112node1centos7192.168.199.113node2centos71.2 其他软件版本软件名称版本链接地址java1.8.0_161-b12nginxnginx-1.9.9https://nginx.org/download/nginx-1.9.9.tar.gz原创 2021-05-03 19:56:22 · 910 阅读 · 1 评论 -
Apache+Hudi入门指南(含代码示例)
1. 什么是Apache Hudi一个spark 库大数据更新解决方案,大数据中没有传统意义的更新,只有append和重写(Hudi就是采用重写方式)使用Hudi的优点使用Bloomfilter机制+二次查找,可快速确定记录是更新还是新增更新范围小,是文件级别,不是表级别文件大小与hdfs的Blocksize保持一致数据文件使用parquet格式,充分利用列存的优势(drema...原创 2020-02-24 21:09:26 · 12928 阅读 · 20 评论 -
hadoop windows远程调试
前言因为之前工作都是使用的ubuntu系统,所以调试一直是在本地机器根本不会使用远程调试。但是新来的同事习惯使用window的系统,希望能够远程调试hadoop代码。所以研究了下调试方法。一,远程测试集群配置在linux 远程测试集群进行如下配置export HADOOP_CLIENT_OPTS=-agentlib:jdwp=transport=dt_soc...原创 2019-03-29 14:47:04 · 254 阅读 · 0 评论