- 博客(5)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 flume执行流程与事务（图解）
一执行流程图1⃣️：Source 接受数据2⃣️：Channel Processor 处理 Event3⃣️：Channel Processor 将 Event 传递给 interceptor链对 Event 进行过滤操作4⃣️：过滤完之后再把 Event 发送回 Channel Prodessor5⃣️：Channel Processor把 Event 发送给Channel sele...
2019-09-30 22:14:11
1674
原创 scala中的隐式转换
文章目录一 隐式类型转换二 隐式参数2.1 正常使用2.2 参数类型错误2.3 参数过多错误2.4 带有默认值2.5 柯力化三 隐式类隐式转换的目的：对某些现有的类进行增强隐式转换中主要用三种：隐式类型转换、隐式参数、隐式类一 隐式类型转换例如有如下代码：class Man(val name: String) {}class SuperMan(name: String) { d...
2019-09-26 21:24:45
321
原创 scala中常用的函数式编程
文章目录一 map映射二 filter过滤三 reduce四 zip五 flatten六 groupBy/sortBy七 案例-求wordcount并降序一 map映射有如下数组val d = Array(1, 2, 3, 4, 5, 6)我们现在要对数组里的每个元素乘以2d.map((x: Int) => x * 2)上面左边的"x"的意思就是数组中的每个元素， "=>...
2019-09-07 17:19:24
324
原创 Scala中的面向对象
文章目录一 定义类1.1 类1.2 属性/方法二 构造函数/继承三 抽象类一 定义类1.1 类scala中定义类的方式：class 类名，例如我们定义个Person类class Person{}1.2 属性/方法在类中1.添加属性的方式：val/var 名称[:类型]=值2.添加方法的方式：def 方法名(参数列表):返回值类型={方法体}class Person{ // ...
2019-09-06 16:18:27
361
原创 IDEA中MR提交作业到yarn，踩坑汇总
跑mapreduce任务只知道在在本地打成jar，提交到hadoop集群上去跑任务，如果出现错误往往很难定位错误，所以远程debug是开发中不可或缺的技能一 Permission denied（权限问题）权限问题，idea运行job时，报如下错误Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.securi...
2019-09-03 17:58:58
1555
1
自定义dbutils下的MyQueryRunner
2018-05-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人