大数据
无影独白
爱自己
展开
-
Scala sbt系列2—— mobius 源代码学习
系统:macOS 10.12.5一、熟悉代码架构和结果刚拿到手的烫手的 mobius 源码,需要跑起来感觉需要花一番功夫。sbt 对于 scala,就像 maven 对于 java。1.导包第一件事是将 mobius 源码依赖的包都导入进去。打开终端,在 mobius 的根目录下面,使用下面两个命令可把依赖下载完。后面加入 --debug 可以让过程更透明一些。sbt update-classifiers [--debug]sbt update-sbt-classifiers [--de.原创 2020-05-08 18:11:52 · 286 阅读 · 0 评论 -
Scala sbt系列1——菜鸟初学 scala sbt
系统:macOS 10.12.5一、Scala sbtSBT 是 Scala 的构建工具,全称是 Simple Build Tool, 类似 Maven 或 Gradle。 SBT 的野心很大,采用Scala编程语言本身编写配置文件,这使得它稍显另类,虽然增强了灵活性,但是对于初学者来说同时也增加了上手难度。另外由于SBT默认从国外下载依赖,导致第一次构建非常缓慢,使用体验非常糟糕!如...原创 2020-05-06 17:44:01 · 6238 阅读 · 2 评论 -
airflow问题系列2 —— task保持running假死状态
1. 错误描述airflow 被调度后,一直处于 running 状态假死,而且日志打印不完全,从某一行以下就不会打印日志了。2. 错误原因经过查找源码中从这一行打印的日志来看,因为在日志里面输出了中文的字符串(包括中文的括号和分号以及冒号等),只要日志中包含中文字符,airflow 就无法将其打印在 web 页面,并且包含中文字符这一行以下的日志也都不会输出。3....原创 2019-10-25 17:28:36 · 6467 阅读 · 2 评论 -
大数据开发之Hadoop工程师学习笔记(一)
第一课:实施Hadoop集群;CDH家族1.Hadoop大数据:目前软件和硬件无法处理的数据称为大数据。Hadoop擅长离线数据分析,有时间差,难以做实时数据处理。文件系统是半只读数据,不能修该,只能追加,随机读写很麻烦。Hadoop不是数据库,Hbase才是数据库。两大板块:分布式文件系统+计算框架yarm(并行计算)2.NamenodeHDFS的守护程序。记录文件是如何分割成数据块的,以及这些...原创 2018-03-20 15:13:49 · 843 阅读 · 0 评论