weixin_46416699的博客

原创 hadoop fs 命令大全（解析和例子）

hadoop fs [generic options]hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录 ---------------------------------------------------------------------------------------[-appendToFile <localsrc> ... <dst>]将本地文件的内容追加到给定的dst文件。hadoop fs -appendTo...

原创 SQL关键字执行顺序

SQL查询的执行顺序

原创 MapReduce中shuffle过程

MapReduce中shuffle过程

原创 如何保持代码的整洁和优雅

代码整洁之道

原创 对维度建模的思考和总结

维度模型中正确的做法是以最详细的力度表达数据，这样可以获得更好的灵活性和可扩展性。

原创 阿里云弹性云桌面安装失败问题解决记录(.net framework 4.6.2 or later:Error Code: 12029)

.net framework 4.6.2 or later:Error Code: 12029

原创 yarn执行流程（大明版）

yarn运行流程

原创 数据仓库中压缩格式的分类

压缩的好处：1，就是节省磁盘空间，提升磁盘利用率。2，加速网络的传输。压缩的缺点：1，需要占用cpu资源进行压缩与解压。2，压缩与解压需要时间。压缩比和压缩速度是相反的。压缩速度从高到低：Snappy>LZ4>LZO>gzip>bzip2LZO：通过索引可切分。bzip2：可切分。gzip，LZ4，Snappy其他均不可切分。Snappy，LZ4，LZO针对压缩速度优化什么是不可切分？压缩数据只能用一个MAP处理，运行的时间可能会更长。详解： g...

原创 1,spark为什么比mapreduce运行速度快很多?

1、基于内存，减少大量的磁盘io操作。 mapreduce任务每次都会把结果数据落地到磁盘， 后续有其他的job需要依赖于前面job的输出结果， 这里就需要进行大量的磁盘io操作，获取前面job的输出结果。性能非常低 spark任务的输出结果可以保存在内存中， 后续有其他的job需要依赖于前面job的输出结果， 这里就只需要直接从内存中获取得到，大大减少磁盘io操作。 2、mapreduce任务启动进程，spark任务启动线程。线程可以重复使用同一个进程，...

原创 Flink 任务提交流程（一图流）