- 博客(16)
- 资源 (2)
- 收藏
- 关注
原创 IDEA 创建scala class
创建modle指定modle 名称,如scala安装scala 插件Project Structure > Project Settings > Modules选定要创建scala class 的module ,右键,Add,Scala这个时候,会发现[module_name].iml 如本文中,scala.iml 中多了一行(这就是好多文章提到的,解决idea创建不了scala class 的方法)...
2021-05-20 10:30:12 1027
原创 LeetCode 20 有效的括号
非科班想去大厂,就要把数据结构和算法学好。因为大厂一面就会让手写代码,由于自己没有准备,被大厂一面手写算法所伤,遂励精图治,开始到LeetCode刷题。可一开始效果特别不好,现在总结原因有两个,1、解决问题的思想考虑不到。2、照搬网上搜到的代码后,很快就忘记,而且对照搬的代码没有好坏的认识。如今找到了正确的学习方式,和大家分享:理论基础很重要,一边看数据结构与算法的书籍,一边刷对应类型的题。这...
2018-10-23 19:47:09 210
原创 单链表反转
public ListNode reverseList(ListNode head) { if (head == null) return null; ListNode p = head.next; head.next = null; ListNode q = head; ListNode pr; ...
2018-10-22 14:20:17 238
原创 IDEA 利用SpringBoot搭建Web服务
直接上操作流程 New Project-->Spring Initializr--Next2 自定义Group、Artifact。next3 只选择Web-->Web 即可,从右边来看就是加依赖,项目建好后也可以加。 next4 项目名称、项目所在位置自定义。 Finsh 5 项目建好后结构如下6 看眼pom文件spring-b...
2018-07-31 18:24:29 526
原创 org.apache.kafka.common.errors.TimeoutException
记录一下这个坑:org.apache.kafka.common.errors.TimeoutException问题出在集群的kafka版本是1.0.1而项目的依赖使用的是0.10.2.0
2018-07-11 17:41:41 5736 1
原创 Kafka消费异常处理
异常org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time bet...
2018-06-13 16:30:00 28962 4
原创 Mac IDEA 本地运行WordCount程序
一、前提1、在Mac通过jps查看进程,保证如下五个进程存在DataNode、NameNode、SecondaryNameNode、NodeManager、ResourceManager2、准备要计算的文件在项目根目路径下创建source/word文件夹,并创建words文件文件内容如下shanghai,5shanghai,2beijing,3shanghai,1beijing,6二、程序...
2018-05-25 18:42:26 1906 1
原创 MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试
公司有个计算需求,由于不能通过连接公司的Hadoop集群进行本地编写MR程序进行调试所以直接自己搭建一个本地Hadoop环境进行MR程序测试,然后再讲程序打包丢到公司Hadoop集群别的不说,直接上干货环境操作系统:MacOS开发环境:IDEA步骤:一、下载hadoop安装包:http://hadoop.apache.org/releases.html公司目前使用2.6.5,为了避免版本上的麻烦,...
2018-05-11 16:57:04 3137
转载 很好的技术贴链接整理---kylin
Apache Kylin 高级设置:联合维度(Joint Dimension)原理解析Apache Kylin 高级设置:层级维度(Hierarchy Dimension)原理解析Apache Kylin高级设置: 必要维度 (Mandatory Dimension)原理解析Apache Kylin 高级设置:聚合组(Aggregation Group)原理解析Apache Kylin在美团点评的...
2018-02-26 20:42:37 393
原创 kylin 权威指南----读书笔记2
写在前面:本文都是我对kylin有一定了解后,再看权威指南时的笔记,有的只记下了自己认为重要的概念,有的几下自己没有掌握的概念,所以有一定片面性,如果您正在使用kylin,个人建议还是用一个下午看看kylin权威指南,比不懂概念一直找度娘省时高效。点击下载kylin权威指南内容基于kylin1-5-2本文从多个角度介绍了Cube的优化方法:从Cube剪枝角度,从并发粒度角度,从RowKey设计角度...
2018-02-23 16:14:55 643
原创 kylin 权威指南----读书笔记1
本文都是我对kylin有一定了解后,再看权威指南时的笔记,有的只记下了自己认为重要的概念,有的几下自己没有掌握的概念,所以有一定片面性,如果您正在使用kylin,个人建议还是用一个下午看看kylin权威指南,比不懂概念一直找度娘省时高效。点击下载kylin权威指南维度和度量维度是指审视数据的角度,它通常是数据记录的一个属性,例如时间地点等度量是基于数据所计算出来的考量值,通常是一个数值,如销售额,...
2018-02-23 16:13:04 1292
原创 Kylin遇到的问题记录--#3 Extract Fact Table Distinct Columns
问题:job执行到#3报错问题分析:由于报java heap space错,首先想到的是调大reduce、jvm这两个参数(我的另外一篇博文提到),结果还是不奏效。由于我是身边第一个吃螃蟹的人,只能硬着头皮接着考虑出现问题的原因,心态从焦虑逐渐沉静下来,仔细思考了自己的表此表仅有两个维度,但是每个维度的基数都特别大,其中一个10000+,另外一个2000000+后来又经过查看大量资料,发现这种基数...
2018-02-12 14:08:38 2460
原创 kylin 通过jdbc驱动进行sql查询
1、创建maven工程,添加依赖<!-- https://mvnrepository.com/artifact/org.apache.kylin/kylin-jdbc --> <dependency> <groupId>org.apache.kylin</groupId> <artifactId>kylin-jdbc<...
2018-02-12 13:44:46 3136
转载 为什么需要使用视图
转自http://blog.csdn.net/yu616568/article/details/50548967 Kylin在使用的过程中使用hive作为cube的输入,但是有些情况下,hive中的表定义和数据并不能满足分析的需求,例如有些列的值需要进行处理,有些列的类型不满足需求,甚至有时候在创建hive表时为了图方便,hive中的所有列都被定义成了string,因此很多情况下在使用...
2018-02-09 19:51:05 2454
原创 kylin 增量更新cube设置
完整脚本,亲测没有问题#!/bin/bash - cubeName=daily_monthly_alive today=`date +%Y-%m-%d` tdTs=`date -d "$today 08:00:00" +%s` endTime=$(($tdTs*1000)) curl --user ADMIN:KYLIN -X PUT -H 'Conte...
2018-02-09 19:35:59 3742 4
原创 Kylin遇到的问题记录--reduce 内存分配不足
问题:reduce内存分配不足解决:http://kylin.apache.org/docs20/install/advance_settings.html解决实例:
2018-02-09 19:11:40 2044
Nginx-1.9.7
2017-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人