自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 kudu使用及常见问题小结

问题记录最近发现kudu日志爆满,info信息全部输出保存在了日志文件里,需要配置日志输出级别:首先登录了kudu监控页面:http://xxxxx:8051 发现Command-line Flags里的--minloglevel=0修改/etc/kudu/conf/master.gflagfile 和 /etc/kudu/conf/tserver.gflagfile 这两个文...

2019-05-24 17:10:26 4869

原创 Logistic Regression(逻辑回归)基本原理与学习总结

逻辑回归原理逻辑回归是一种广义线性模型,判别一个模型是否是线性的,可通过判别分界面是否是线性来判断的,逻辑回归的分界面是线性的。逻辑回归解决的是分类问题,由条件概率分布P(Y|X)表示,通过引入sigmoid函数,用于表示输出值的概率。构造广义线性模型(Constructing GLMs)要构建广义线性模型,我们要基于以下三个假设:给定特征属性和参数后,的条件概率服从指数分布族,...

2019-04-08 19:58:46 4324

原创 Logistic Regression 相关问题补充

逻辑回归的损失函数为什么要使用极大似然函数作为损失函数?损失函数一般有四种,平方损失函数,对数损失函数,HingeLoss0-1损失函数,绝对值损失函数。将极大似然函数取对数以后等同于对数损失函数。在逻辑回归这个模型下,对数损失函数的训练求解参数的速度是比较快的。至于原因大家可以求出这个式子的梯度更新 这个式子的更新速度只和,相关。和sigmod函数本身的梯度是无关的。这样更新的速度...

2019-08-06 16:23:20 309

原创 LeetCode72-编辑距离

给定两个单词 word1 和 word2,计算出将 word1 转换成 word2 所使用的最少操作数 。你可以对一个单词进行如下三种操作: 插入一个字符 删除一个字符 替换一个字符示例 1:输入: word1 = "horse", word2 = "ros"输出: 3解释:horse -> rorse (将 'h' 替换为 'r')rorse ...

2019-06-14 17:00:26 155

原创 LeetCode3-无重复字符的最长子串

给定一个字符串,请你找出其中不含有重复字符的最长子串的长度。示例1:输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc",所以其长度为 3。示例 2:输入: "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b",所以其长度为 1。示例 3:输入: "pwwkew"输出: 3解释: 因为无重复字符的最...

2019-06-03 10:11:44 161

原创 LeetCode2-两数相加

给出两个非空 的链表用来表示两个非负的整数。其中,它们各自的位数是按照逆序的方式存储的,并且它们的每个节点只能存储一位数字。如果,我们将这两个数相加起来,则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外,这两个数都不会以 0开头。示例:输入:(2 -> 4 -> 3) + (5 -> 6 -> 4)输出:7 -> 0 -...

2019-05-31 10:23:56 132

原创 LeetCode1- 两数之和

给定一个整数数组nums和一个目标值target,请你在该数组中找出和为目标值的那两个整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]cla...

2019-05-30 22:45:09 105

原创 scala 操作 Kudu API

简单实现了使用Kudu API对相关kudu表数据进行操作,其中标色部分可重点关注。1.Upsert// 创建kudu连接val kuduMaster ="*****"val kuduClient = new KuduClient.KuduClientBuilder(kuduMaster).build()// 设置表名 val tableName = "kudu_test"...

2019-05-30 15:51:34 1512

原创 需要烂熟于心的算法模板(快排,二分查找,树先序,中序,层序遍历)

1.快排def partition(arr,low,high): povit = arr[low] while(low<high): while(low<high and arr[high]>=povit): high = high-1 if (low<high): arr...

2019-05-26 00:36:11 252

原创 impala 问题小结

前言:在日常的impala操作及运维中,遇到了一些问题,在此记录,防止后来人踩坑。问题一:impala的substr由于hive跑日常批量时间较长,因此考虑使用impala进行替换,在改写脚本中遇到了如下问题:用hive 写 select substr("adbc",0,2) 获得数据为"ab",使用impala 写 select substr("adbc",0,2) 获得数据为...

2019-05-18 15:37:14 1862

原创 TextCNN模型原理及理解

1.概要TEXTCNN是由Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification中提出的,其主要思想是将不同长度的短文作为矩阵输入,使用多个不同size的filter去提取句子中的关键信息(类似于多窗口大小的ngram),并用于最终的分类。2.网络结构输入层:...

2019-05-12 23:22:23 7720

原创 SQL优化小结

对此前学习的一些SQL调优实践小结一下,如有总结的不当之处,敬请指正。1、选择谓词尽可能简单选择谓词要尽可能采用较为简单的形式,避免对谓词列使用函数或者数学表达式,如果对谓词列使用函数或者数学符号,会对谓词列索引的使用造成影响,从而使得SQL运行速度变慢。例:SELECT * FROM T WHERE CAST( COLUM_CHAR5 AS INT) = 100改成SE...

2019-04-08 20:19:02 301

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除