操作系统 & 系统配置
文章平均质量分 65
操作系统 & 系统配置
EnterPine
这个作者很懒,什么都没留下…
展开
-
Hadoop中MapReduce的自定义分区、排序、分组
分区:在MR的job中,默认使用的分区类为:HashPartitioner.class其源代码为:public class HashPartitioner<K, V> extends Partitioner<K, V> { public HashPartitioner() { } public int getPartition(K key, ...原创 2019-07-24 16:29:15 · 686 阅读 · 0 评论 -
windows 下安装jupyer notebook
windows 下安装jupyer notebook配置windows 环境变量,path后追加;D:\Python36;D:\Python36\Scripts在任意目录运行pip install virtualenv,为python安装虚拟环境的依赖在要创建虚拟环境的目录下,比如我在D盘根目录D:\下运行,virtualenv jup_venv,这时候会有一个目录D:\jup_v...原创 2018-10-31 12:32:12 · 1285 阅读 · 0 评论 -
linux shell中实现循环日期
#!/usr/bin/env bashstart_date=&amp;quot;20180726&amp;quot;end_date=&amp;quot;20180830&amp;quot;while [ &amp;quot;$start_date&amp;quot; -le &amp;quot;$end_date&amp;quot; ];do原创 2018-09-13 10:37:30 · 4298 阅读 · 0 评论 -
centos 7 安装 python 3.6
./configure –prefix=/usr/python make make install ln -s /usr/python/bin/python3 /usr/bin/python3 ln -s /usr/python/bin/pip3 /usr/bin/pip3 配置path到/usr/python/bin原创 2018-08-21 19:33:49 · 501 阅读 · 0 评论 -
Superset 在linux( centOS 6\7 )下安装
一、安装python3.6(据说python3.4以上就可以)二、安装mysql(我安装的mysql5.7社区版)三、安装visual c++ build tools 2015,(一会附上csdn下载)四、使用pip 安装superset pip install superset五、依次执行 superset在site-packages/superse...原创 2018-08-20 15:46:23 · 1669 阅读 · 0 评论 -
Apache Kylin 高基数维度处理 以及 其他优化
第一个问题:在Tableau中显示的度量值如果是SUM计算,那么在Hive中最好使用的字段类型为decimal(20,0),避免使用int以及bigint。 第二个问题:高基数维度的Cube在构建过程中报错,GC limite exceeded 以及java.lang.OutOfMemoryError: Java heap space,需要在~/conf/kylin_job_conf.xml中添...原创 2018-06-20 14:33:20 · 3075 阅读 · 0 评论