- 博客(6)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 大数据超详细面试题汇总（附答案）
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台Hdfs 是一个分布式文件系统，用来存储文件，通过目录树来定位文件Hdfs适合一次写入，多次写出的文件场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用NameNode : 管理HDFS的命名空间，配置副本策略，管理block的映射信息，处理客户端读写请求。
2020-07-31 11:21:44
18710
3
原创 OSS工具类
参考文档 ：工具类package cm.hypers.util;import com.aliyun.oss.OSS;import com.aliyun.oss.OSSClientBuilder;import com.aliyun.oss.model.*;import com.sun.javafx.scene.control.skin.ButtonSkin;import java.io.*;import java.util.Date;import java.util.List;impo
2021-06-02 18:15:00
623
原创 Swagger注解 详解
@Api : 该注解表示类中的方法可以做为接口tags: " 说明该类的作用，可以在UI界面上看到的注解"value:" 该参数没什么意义，在UI界面上也看到，所以不需要配置"@ApiOerarion : 该注解用在请求的方法上，说明方法的用途和作用value :" 说明方法的用途、作用"notes: " 方法的备注说明"@ApiImplcitParams 该注解表示方法可以为一个接口,用在请求的方法上，表示一组参数说明 “接口地址”“分类”“请求方法”“功能描述”“功能详细说
2020-10-26 13:57:14
1686
原创 Spark常用的RDD
1. Tranformationval lines=sc.textFile(file:///usr/local/spark/mycode/rdd/word.txt)### #1. map map(func) 将每个元素传递给函数 func 中，并将返回结果返回为一个新的数据集scala> val data=Array(1,2,3,4,5)scala> val rdd1 = sc.parallelize(data)scala> val rdd2=rdd1.map(x
2020-09-09 18:44:20
218
原创 Sqoop,Pig 数据导入
Oracle—> HDFSsqoop 脚本会将 脚本中的 " " 给直接去掉，可能会遇到以下几个问题1.关键字如果遇到关键字，需要添加转义符号，才会识别为关键字列，否则数据会直接插入 关键字数据2.Oracle表名中包含数字如果表名中包含数字，需要添加转义字符，才会识别该表名3.数据中包含特殊字符3.1 对于包含特殊字符（\r \n \001）等特殊字符的数据，要使用 --hive-delims-replacement " " 将数据中所有的 \n,\r ,\001等特殊字符替换成
2020-09-04 17:42:53
241
原创 git 超详细基本操作
1.git操作命令（1）在现有目录中初始化仓库(进入该项目)git init$ git add *.c$ git add LICENSE$ git commit -m 'initial project version'（2）克隆现有的仓库$ git clone https://github.com/libgit2/libgit2（3）查看当前文件的状态$ git status(显示没有，进行创建文件，会显示未追踪文件)$git status -s 命令或 git status --s
2020-08-04 09:52:53
151
空空如也
spark 堆外内存作用，何时会用到？
2021-05-26
oss 与 s3 的区别
2021-05-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人