- 博客(7)
- 收藏
- 关注
RSS订阅原创 用hive语句走过的坑
1.在sqlServer中有isnull 函数，但是hive不支持，只能用case when 字段 is null then 0 else 字段 end as 字段2.hive join 表时 join 的表不能是带括号的，如果必须jion这种条件生成的表，需要根据条件生成临时表错误写法：spark.sql(""""select a.*,b.* from a join (selec...
2019-01-25 16:01:57
1458
原创 机器学习平台数据归一化总结
最近开发数据 归一化的需求，归一化的方法是对将需要处理的列转化为Vector，然后将df放到方法里面去执行，得到新的df如果保留原始类，这个df只需要重新拆分，就可以如果不保留原始列，这个df拆分后，还要进行新的判断，将处理后的列值替代原来的值 1._* 用法：1)变长参数如将vector 追加至原始df的时候已经处理的列 val vec=features2Vec...
2019-01-07 15:04:16
189
原创 机器学习实战----kNN近邻算法问题记录
1.import kNN。报错：only 2 non-keyword arguments accepted原因：group =array([1.0,1.1],[1.0,1.0],[0,0],[0,0.1]) 粗心少写了两个中括号正确写法:group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])2.AttributeError: 'dict' ...
2018-10-10 18:35:31
246
原创 Scala学习笔记(三）
第四章 元组和映射 (快学scala）4.1构造映射A.不可变映射val scores=Map("Alice"->10,"Bob"->3,"Cindy"->8)B.可变映射val score=scala.collection.mutable.Map("Alice"->10,"Bob"->3,"Cindy"->8)C.空的映射,选定映射实现并给定映射参数val score
2018-01-08 14:05:23
264
原创 Scala学习笔记
1.高级for循环和for推导式a.变量for(ib.for循环的循环体以yield开始 ,for循环推导式for(ifor{i1 to 3from=4-ij3 }2.编写一个函数countdown(n:Int)，输出n到0的数字def countdown(n:Int) :Unit={for(icountdown(10)思路：首先满足递减，其次要
2018-01-08 09:37:21
829
原创 linux操作
1.查找定时任务的命令 crontab -l 2.编辑定时任务的内容 crontab -e3.删除所有的定时任务 crontab -r 4.python生成的文件指定存储路径def wfile(path,cur): sql = 'select * from parts_num ' cur.execute(sql) rows = cur.fetchall();
2018-01-04 13:11:26
159
原创 Scala学习笔记
第二章 控制结构和函数（快学scala）1.条件表达式1)scala中 if/else表达式有值例： var x=1if (x>0) 1 else -12)scala中有混合类型的表达式if (x>0) "positive" else -1上述表达式的类型是公共超类型 ，Any3)esle部分缺失(每个表达式都应该有某种值）if (x>0) 1
2017-12-22 13:15:39
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人