2019年02月_爱知菜

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

转载 kaggle竞赛: 沃尔玛销量预测

竞赛地址:https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting第一名方案:https://www.kaggle.com/c/walmart-recruiting-store-sales-forecasting/discussion/8125基本思路是应用R的forecast包，对每个商店每...

2019-02-28 18:06:25 7164

原创 python2/python3 连接 hive/impala 的问题汇总

'TSocket' object has no attribute 'isOpen bug:https://github.com/cloudera/impyla/issues/268'TSaslClientTransport' object has no attribute 'readAll':https://github.com/dropbox/PyHive/issues/151解决...

2019-02-21 18:20:12 6057 1

原创 anaconda python 连 impala (选择正确的anaconda版本, bug修复) & linux python3装 jupyter

Windows 上的安装截至目前2019/2/20 不要选python3.7版本对应的anaconda, 因为在python3.7 "async" 变成了一个关键词, 和python访问impala的库impyla有冲突, 建议选python3.5对应的anaconda版本import impala.dbapi这段代码执行后可能报错: thriftpy.parser.ex...

2019-02-20 18:01:10 990

原创 Redis bgsave & setnx & zset

bgsave & saveredis的数据库备份命令, 区别是阻塞:save会阻塞主线程, 锁定当前内存中的数据库写入磁盘, save期间redis无法处理外部命令, 直到写入完成bgsave也会阻塞主线程, 只不过阻塞时间短一点, 它的逻辑是先把当前内存数据库复制一份(fork), 复制完了, 原来的数据库就能继续正常工作了, 而把fork出来的拷贝写入磁盘. 网上有说法, ...

2019-02-12 10:40:36 349

原创 impala 更新元数据以及用impala对复杂类型的列查询

impala是MPP型数据库, 支持HIVE 和 S3 作为底层存储.impala 刷新元数据impala 能从Hive的metastore里获取表结构的元数据, 但是并不能感知 hive 的改动, 所以如果hive的表结构发生了改动需要手动来刷新 impala 缓存的元数据.刷新方式有两种: INVALIDATE METADATA sometable;REFRESH som...

2019-02-02 17:40:46 2449