he613-CSDN博客

原创 kudu使用及常见问题小结

问题记录最近发现kudu日志爆满，info信息全部输出保存在了日志文件里，需要配置日志输出级别：首先登录了kudu监控页面：http://xxxxx:8051 发现Command-line Flags里的--minloglevel=0修改/etc/kudu/conf/master.gflagfile 和 /etc/kudu/conf/tserver.gflagfile 这两个文...

2019-05-24 17:10:26 4883

原创 Logistic Regression(逻辑回归)基本原理与学习总结

逻辑回归原理逻辑回归是一种广义线性模型，判别一个模型是否是线性的，可通过判别分界面是否是线性来判断的，逻辑回归的分界面是线性的。逻辑回归解决的是分类问题，由条件概率分布P(Y|X)表示，通过引入sigmoid函数，用于表示输出值的概率。构造广义线性模型(Constructing GLMs)要构建广义线性模型，我们要基于以下三个假设：给定特征属性和参数后，的条件概率服从指数分布族，...

2019-04-08 19:58:46 4326

原创 Logistic Regression 相关问题补充

逻辑回归的损失函数为什么要使用极大似然函数作为损失函数？损失函数一般有四种，平方损失函数，对数损失函数，HingeLoss0-1损失函数，绝对值损失函数。将极大似然函数取对数以后等同于对数损失函数。在逻辑回归这个模型下，对数损失函数的训练求解参数的速度是比较快的。至于原因大家可以求出这个式子的梯度更新这个式子的更新速度只和，相关。和sigmod函数本身的梯度是无关的。这样更新的速度...

2019-08-06 16:23:20 313

原创 LeetCode72-编辑距离

给定两个单词 word1 和 word2，计算出将 word1 转换成 word2 所使用的最少操作数。你可以对一个单词进行如下三种操作：插入一个字符删除一个字符替换一个字符示例 1:输入: word1 = "horse", word2 = "ros"输出: 3解释:horse -> rorse (将 'h' 替换为 'r')rorse ...

2019-06-14 17:00:26 155

原创 LeetCode3-无重复字符的最长子串

给定一个字符串，请你找出其中不含有重复字符的最长子串的长度。示例1:输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。示例 2:输入: "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。示例 3:输入: "pwwkew"输出: 3解释: 因为无重复字符的最...

2019-06-03 10:11:44 162

原创 LeetCode2-两数相加

给出两个非空的链表用来表示两个非负的整数。其中，它们各自的位数是按照逆序的方式存储的，并且它们的每个节点只能存储一位数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0开头。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 -> 0 -...

2019-05-31 10:23:56 133

原创 LeetCode1- 两数之和

给定一个整数数组nums和一个目标值target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]cla...

2019-05-30 22:45:09 105

原创 scala 操作 Kudu API

简单实现了使用Kudu API对相关kudu表数据进行操作，其中标色部分可重点关注。1.Upsert// 创建kudu连接val kuduMaster ="*****"val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()// 设置表名 val tableName = "kudu_test"...

2019-05-30 15:51:34 1514

原创需要烂熟于心的算法模板（快排，二分查找，树先序，中序，层序遍历）

1.快排def partition(arr,low,high): povit = arr[low] while(low<high): while(low<high and arr[high]>=povit): high = high-1 if (low<high): arr...

2019-05-26 00:36:11 252

原创 impala 问题小结

前言：在日常的impala操作及运维中，遇到了一些问题，在此记录，防止后来人踩坑。问题一：impala的substr由于hive跑日常批量时间较长，因此考虑使用impala进行替换，在改写脚本中遇到了如下问题：用hive 写 select substr("adbc",0,2) 获得数据为"ab"，使用impala 写 select substr("adbc",0,2) 获得数据为...

2019-05-18 15:37:14 1868

原创 TextCNN模型原理及理解

1.概要TEXTCNN是由Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification中提出的，其主要思想是将不同长度的短文作为矩阵输入，使用多个不同size的filter去提取句子中的关键信息（类似于多窗口大小的ngram），并用于最终的分类。2.网络结构输入层：...

2019-05-12 23:22:23 7726

原创 SQL优化小结

对此前学习的一些SQL调优实践小结一下，如有总结的不当之处，敬请指正。1、选择谓词尽可能简单选择谓词要尽可能采用较为简单的形式，避免对谓词列使用函数或者数学表达式，如果对谓词列使用函数或者数学符号，会对谓词列索引的使用造成影响，从而使得SQL运行速度变慢。例：SELECT * FROM T WHERE CAST( COLUM_CHAR5 AS INT) = 100改成SE...

2019-04-08 20:19:02 301

he613的博客