阿里云
_delin
这个作者很懒,什么都没留下…
展开
-
分析型数据库 ADS 报错 Query misses join index
查询了下,看到阿里官网解释的是【目前分析型数据库中使用JOIN时若一方是物理表,那么物理表参与JOIN的列必须是分区列并且已建立HASH索引】然后就按照要求把索引改为HASH索引,继续执行JOIN,但是还是报相同错误,遂问了下阿里的技术人员,得到答案:确认表是实时更新表还是批量表,如果是批量表的话,是否在新增索引后有重新加载数据,如果是实时更新表是否已经做过表分析optimize ta原创 2016-04-05 20:28:14 · 587 阅读 · 0 评论 -
吐槽阿里云PAI
之前在杭州培训的时候有接触过PAI,说实话是挺好用的。 直接接入ODPS数据,使用ODPS的引擎做机器学习,训练模型,体验还是不错的,基本的算法都有,满足基本预测挖掘数据的要求。一个完整的建模步骤包括以下6个步骤: step1:数据准备 step2:数据预处理 step3:数据可视化 step4:算法建模 step5:多模型评估 step6:数据存储 PAI全部可以完成上述步骤,就我原创 2016-08-05 17:18:43 · 6319 阅读 · 1 评论 -
阿里分析型数据库ads学习记录
1.ads中的维度表可以与任意表关联,无需对应分区,无需相同分区数。实际上数据量不大的表优先考虑建成维度表,特别是需要与其他表要关联的表。维度表的劣势:查询性能不随着扩容提升,浪费更多存储空间,但是对于数据量不大的情况下都不是问题。2.ads不支持带偏移量的limit实际上无法做成真实分页,而且最多只能取出前1w条数据。原创 2016-04-25 10:39:31 · 13486 阅读 · 0 评论 -
建模交流学习
以下是今天(20160811)跟阿里的同学交流的关于建模方面的心得。1.规则-经验-机器学习 有的时候规则其实更简单,只不过这是人为的经验成分 机器学习其实是想通过大数据学习这种人为经验2.模型是注重性能还是可解释性? (1)如果可解释性要强的话就要牺牲性能(预测的结果好坏),如果只追求性能的话可以用一些非线性(gbdt,dnn等) (2)如果要求可解释性最好用一些线性的模型(最简单的最常用原创 2016-08-11 20:02:23 · 879 阅读 · 1 评论