![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Ynzo
今天学习了嘛?
展开
-
使用zipwithindex 算子给dataframe增加自增列 row_number函数实现自增,udf函数实现自增
DataFrame df = ...StructType schema = df.schema().add(DataTypes.createStructField("id", DataTypes.LongType, false));使用RDD的zipWithIndex得到索引,作为ID值:JavaRDD<Row> rdd = df.javaRDD() // 转为JavaRDD...转载 2020-04-15 15:49:26 · 1073 阅读 · 0 评论 -
nginx中的root与alias的差别
格式nginx指定文件路径有两种方式root和alias,指令的使用方法和作用域:[root]语法:root path默认值:root html配置段:http、server、location、if[alias]语法:alias path配置段:locationroot与alias主要区别在于nginx如何解释location后面的uri,这会使两者分别以不同的方式将请求映射...转载 2020-04-15 00:45:50 · 217 阅读 · 0 评论 -
报错:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column 'NaN' in 'field list'
今天只是在计算留存率的代码中添加了一个条件,结果报错如下:Log Type: stderrLog Upload Time: 6-Dec-2019 13:18:45Log Length: 12549SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/data6/yar...原创 2019-12-06 17:16:30 · 780 阅读 · 0 评论 -
indexOf 与 lastIndexOf
indexOf 和 lastIndexOf 是什么? indexOf 和 lastIndexOf 都是索引文件 indexOf是查某个指定的字符串在字符串首次出现的位置(索引值)(也就是从前往后查) lastIndexOf是从右向左查某个指定的字符串在字符串中最后一次出现的位置(也就是从后往前查) eg: 注意: 那么问题...原创 2019-11-07 15:22:36 · 1087 阅读 · 0 评论 -
sqlContext.udf.register( ) 的作用
SparkSQL UDF两种注册方式:udf() 和 register()调用sqlContext.udf.register()此时注册的方法 只能在sql()中可见,对DataFrame API不可见用法:sqlContext.udf.register("makeDt", makeDT(_:String,_:String,_:String))例如:def make...原创 2019-11-07 15:12:48 · 1359 阅读 · 0 评论 -
报错信息:java.sql.SQLException: Field 'id' doesn't have a default value
今天写的程序报了一个错误,报错代码如下:ERROR 2019-10-16 15:14:47,797 Logging$class:logError - User class threw exception: java.sql.SQLException: Field 'id' doesn't have a default valuejava.sql.SQLException: Field 'i...原创 2019-10-16 15:45:37 · 743 阅读 · 1 评论