- 博客(9)
- 收藏
- 关注
RSS订阅原创 spark启动时Cannot assign requested address: Service 'sparkDriver'问题分析
问题经过当使用bin/spark-shell命令或使用spark-submit提交任务时，会遇到如下报错。Setting default log level to “WARN”.To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/12/24 09:58...
2019-12-24 10:39:06
5181
1
原创 常用 Spark RDD Transformations
Spark RDD Transformationsvalue类型map返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 val arr = Array(1,2,3,4,5,6) val numRDD = sc.parallelize(arr) val resultRDD = numRDD.map(x => "(" + x*x + ")")...
2019-10-05 11:04:15
202
原创 一站搞定Java File类
概述构造方法File类拥有三种构造方法public File(String pathname)该构造方法通过将给定路径名字符串转换为抽象路径名来创建一个新的File实例。其中，pathname指路径名称(包含文件名) File f1 = new File("F:\\fileTest");public File(String parent, String child)该构造方法根据...
2019-09-12 10:54:08
120
原创 hive实例-网站日志数据分析
文章目录数据样例建表语句案例需求(1)查询输出uid和关键字字段，输出前5条(2)查询搜索过'仙剑奇侠传'的用户和keyword(3)每个用户查询过多少次(4)查询频度排名前50的,一个keyword 被查询过多少次，次数的排序(5)搜索过'仙剑奇侠传'的用户还搜索过什么数据样例建表语句create external table sogou(date_time string,uid st...
2019-09-12 10:53:21
848
原创 Hive实例-农产品统计
数据样例案例需求1.统计每个省份的农产品市场总数2.统计没有农产品市场的省份有哪些3.统计山东省售卖蛤蜊的农产品市场占全省农产品市场的比例4.统计每个省农产品种类总数5.统计排名前 3 的省份共同拥有的农产品类型a. 计算前3省份的名称b. 计算前3省份的所有去重产品名称c. 计算共同拥有的产品6.计算山西省的每种农产品的价格波动趋势， 即计算每天价格均值， 并按照时间先后...
2019-09-12 10:52:51
1366
1
原创 隔壁的小孩都看懂了！Java String小百科——判断功能篇
文章目录Java常用API——String声明和创建字符串使用直接赋值和构造函数赋值的区别原理连接字符串注意使用equals(Object obj)比较字符串内容是否相同使用equalslgnoreCase()进行比较字符串内容是否相同使用contains()方法判断是否包含指定的字符串使用startsWith()方法判断字符串以什么开头使用endsWith()判断字符串以什么结尾使用isEmpt...
2019-07-28 16:29:52
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人