- 博客(5)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 spark dataframe 一列分隔多列，一列分隔多行（scala）
关于spark dataframe ，这里介绍三种实用中实现可能比较麻烦的操作，首先上原始数据集 mRecord：一，合并content列，将name相同的content合并到一行，用逗号隔开： mRecord.createOrReplaceTempView("test"); val Df1 = sparkSQL.sql("select name,concat_ws(...
2018-06-17 23:26:18
26944
8
原创 thinkphp上传读取带中文名的excel
windows phpstudy环境下进行开发一、使用thinkphp 3.2.3的Upload上传文件，带中文名的文件保存到后台后是乱码，解决方法：ThinkPHP\Library\Think\Upload\Driver\local.class.php 82行:if (!move_uploaded_file($file['tmp_name'], $filename))改为if (!move_...
2018-06-11 22:27:58
1100
原创 spark Failed to execute user defined function(anonfun$3: (array<string>, vector) => string)
笔者通过udf创建spark sql 函数，代码如下： val getKeyWordsFun = udf((con:Array[String],fea:Vector)=>{ //函数内容 });使用如下：idfDf.withColumn("keywords",getKeyWordsFun(col("contents"),col("idf...
2018-06-07 22:57:33
8078
原创 RAP接口管理工具
RAP是阿里开源的接口管理工具，主要包括开发团队/项目的管理，编写API接口，MOCK服务，接口测试，生成接口文档等功能。并且RAP是可以在本地环境中进行部署使用的（linux，windows皆可），这里也建议本地部署，第一不受网络限制，第二数据放在自己的数据库中便于后续的功能扩展或分析。关于RAP的部署，网络上有较多的教程，这里就不再重复，主要需要java1.8，mysql5.6（mysql5....
2018-06-06 22:39:32
10143
原创 Mysql Invalid ON UPDATE clause for 'update_time' column
从高版本的mysql导数据到低版本，执行语句：CREATE TABLE `test` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '序号', `update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '修改日期', PRIMARY KEY (`id`)...
2018-06-05 11:53:18
14802
4
spark dataframe如何把一列由数组变成向量
2017-10-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人