- 博客(6)
- 收藏
- 关注
RSS订阅原创 HIVE中EXPLAIN的解读方式
HIVE中EXPLAIN的解读方式1.执行计划可以知道关键字的执行先后顺序（这里与oracle的会有些不同）欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1.执行计划可以知道关键字的执行先后
2021-01-17 22:59:16
781
原创 关于hive,spark,pyspark 使用UDF的一些理解（总结）
文章目录使用方式①在hive中使用udf使用java代码编写udf使用scala代码编写udf②在spark中使用udf在spark-submit中添加--jars xxx.jar方式引用外部udf的形式在spark中注册udf③在pyspark中使用udfpython中注册udf使用pandas的udf引用scala或者java打成的jar包来注册udf在spark-submit中添加--jar...
2019-08-22 20:51:33
1736
3
原创 恶意登录监控的CEP实现
文章目录恶意登录监控的CEP实现前提链接，那里是第一种实现方式注意事项：正确导入Map的包import org.apache.flink.cep.scala.{CEP, PatternStream}import org.apache.flink.cep.scala.pattern.Patternimport org.apache.flink.streaming.api.scala._...
2019-06-28 21:46:11
519
原创 Flink在大数据流处理方面的注意事项
关于Flink在大数据方面使用的注意事项（初学者），以流处理为例，目前Flink在数据处理流方面分为批处理和流处理。
2019-06-28 20:19:31
1186
原创 关于Window下使用hadoop遇到的坑
window下配置的JAVA_HOME本身使用没有问题，但是用hadoop调用JAVA_HOME这个变量就会在一些特定的场景会出错，建议环境变量的地址修改为推荐：C:\PROGRA~1\Java\jdk1.8.0_131C:\Program Files\Java\jdk1.8.0_131遇到场景使用spark保存dataFrame数据到本地，报一堆莫名其妙的错误，当然，也提示了hadoop...
2019-06-05 16:36:26
172
原创 大数据学习之虚拟机准备
文章目录大数据学习之虚拟机准备使用linux的版本：centos6.8使用VMware12虚拟机安装安装完成后后续工作1.修改IP地址2.修改网络服务3.重启网络服务4.修改hostname5.ip地址映射6关闭防火墙7.重启linux（reboot）大数据学习之虚拟机准备使用linux的版本：centos6.8使用VMware12虚拟机安装安装完成后后续工作1.修改IP地址 v...
2019-05-10 15:35:16
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人