- 博客(5)
- 收藏
- 关注
RSS订阅原创 JAVA连接ES7
标题JAVA连接ES7 添加jar包 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.10.0</version> </dependency&g
2021-03-17 16:19:40
826
原创 Spark流程图
Spark流程图超详细 (1) 将 Spark 程序通过 spark-submit(shell)命令提交到结点上执行，其实会通过反射的 方式，创建和构造一个 DriverActor 进程出来，通过 Driver 进程执行我们的 Application 应用程序。 (2) 应用程序的第一行一般是先构造 SparkConf，再构造 SparkContext； (3)SparkContext 在初始化的时候，做的最重要的两件事就是构造 DAGScheduler 和 TaskScheduler； (4)TaskSc
2020-11-04 14:38:35
1739
原创 impala实现oracle Minus函数
去整理别人的存储过程实现sql的时候，发现用到了oracle的Minus函数，然后就根据业务逻辑实现。sql代码如下： – 找出在Ａ表中的数据在Ｂ表中不存在的数据 SELECT s.pro_no, nvl ( s.lsg_month, ‘209912’ ) lsg_month, s.brd_season_no FROM dws_hive.tb1 s LEFT OUTER JOIN ( SELECT s1.pro_no, s1.lsg_month, s1.brd_season_no FROM ( SELECT
2020-09-09 11:24:32
1064
原创 hive的数据导入与导出
hive数据导入： 从本地导入是复制 从hdfs导入时mv（移动） 从本地文件系统导入hive表中 1.向表中加载数据（load） 语法； 本地文件加local load data [local] inpath '文件路径' [overwrite] into table 表名[partition ....]； 2.通过查询语句插入数据（...
2020-03-04 14:00:42
482
原创 MapReduce的Wordcount求top
//自定义MyMapper类继承Mapper public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private Text outkey = new Text(); private IntWritable outval = new IntWritable(1); private St...
2020-02-18 18:47:15
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人