- 博客(16)
- 收藏
- 关注
RSS订阅原创 (持续更新）2021-01-24-HiveSQL常用优化手段（Map Reduce）-HK
日常积累-HiveSQL的压缩方法+SQL整体优化（Map Reduce）子目录：配置parquet压缩设置压缩+自动分区（Parquet和ORC）SQL整体优化（多任务并行、减少任务数量）正文：Map Reduce：一个Hive查询会生成多个Map Reduce Job，每个Map Reduce Job有Map，Reduce，Spill，Shuffle，Sort等多个阶段配置parquet压缩两种配置方式：（1）在创建表时配置create table mytable(a in
2021-01-24 16:55:21
179
原创 （SQLZOO最后一题答案详解）(持续更新）2021-01-20-SQL(SQLZOO Self Join)刷题精华部分-HK
SQLZOO - Self JoinSQLZOO最后一题答案（新手菜鸟辛苦AC）小目录：（SQLZOO Self Join）将一个表自连接后再分别外接两个表将一个表自连接两次，解决调度问题（SQLZOO最后一题详解）正文：将一个表自连接后再分别外接两个表先自连接，然后分别对应自连接的两个表进行外连接，对应连接点是外连接的ON连接条件；SELECT a.company, a.num, stopa.name, stopb.nameFROM route a JOIN route b O
2021-01-21 16:04:55
3537
15
原创 （持续更新）2021-01-20-SQL(SQLZOO Using NULL)刷题精华部分-HK
SQLZOO - Using NULL小目录：（SQLZOO Using NULL）order by 2is NULL 和 = NULLNULL的分组、排序、计数如何将NULL替换成你想要的东西条件分支语句：case when用法正文：order by 2根据select字段的第二个字段进行排序SELECT a, bFROM TAORDER BY 2等价于SELECT a, bFROM TAORDER BY bis NULL 和 = NULL-SQL中存在
2021-01-20 14:14:04
107
原创 （持续更新）2021-01-19-SQL（SQLZOO More Join）刷题精华部分-HK
SQLZOO-More Join小目录：如何连接三个表；正文：如何连接三个表：把带有其他两个表的连接条件的那个表放在两次LEFT JOIN的中间，作为连接的枢纽；示例：其中的表casting包含了表movie和actor的movieid和actoridselect title, namefrom movie LEFT JOIN casting ON (movie.id = casting.movieid) LEFT JOIN actor ON (actor.i
2021-01-19 13:07:44
170
原创 （持续更新）2021-01-04-SQL（SQLZOO Join）刷题精华部分-HK
初级篇小目录：用group by子查询实现having语句的功能JOIN ON连接以后，group by 要将select到的两张表内的字段都group byLEFT JOIN（左连接）和JOIN（自然连接）的区别正文：可以使用group by子查询实现having语句的功能，但是没有比较二者速度：（1） having的方法：select continentfrom worldgroup by continenthaving sum(population) >= 1000
2021-01-04 20:53:00
178
原创 （持续更新）2020-12-31-SQL（SQLZOO SELECT FROM WORLD）刷题笔记-HK
初步阶段小目录Subquery returns more than 1 row的报错解决；如何表示带有百分号的百分数；与NULL值做“比较运算”，导致的输出值为空；找出最值（max、min）的两种方法；正文查询到有多个符合条件的子查询，返回了一个序列，而一个continent变量不可能同时和一堆返回值同时做比较，导致报错error：Subquery returns more than 1 row解决方法：在子查询前加入any关键字select name, continentfr
2021-01-02 11:04:01
109
原创 （持续更新）2020-12-30-SQL（SQLZOO-SELECT FROM WORLD/NOBEL）刷题笔记-HK
SQL的一些函数，初步使用阶段容易出错小目录：单引号问题ROUND（）函数字符串匹配问题正文：使用where匹配字符串时，只能使用单引号。双引号是在Java语句中，SQL语句外使用的示例：在Java中写一个字符串匹配的query语句Str = "SELECT name WHERE continent = 'Asia'"ROUND(A，B)函数用法(1) 把A四舍五入取整，保留B位小数。A可以是运算式。(2) 当B是负数的时候，截取到相应位数，相应位数到0位的部分取整，比相
2020-12-31 20:16:40
92
原创 Python-机器学习笔记-项目实战记录-20201130-HK
Interesting things in intro of ML排序函数参数_1是被排序的项，参数_2是作为顺序依据的变量；此处是x[1]，也就是d.items()的第二维变量的值作为排序依据；sorted(d.items(), key=lambda x: x[1])
2020-11-30 14:25:24
74
2
原创 机器学习 - 2 -SVM核函数 - 20201123 -HK
对支持向量机SVM的核函数和可分能力谈谈自己的想法svm找超平面的本质其实就是找一个维度核函数就是维度的体现当核函数A达到了这个维度，一个训练样本X对于A可分，那就说明这个维度是X的一个可分维度，核函数A只是这个维度上的一个特定的分割工具，你还可以在这个平面上找到其他的分割工具；ex1.此时有一个核函数B，它是A的线性变换得到的，那么样本X对于B来说可分吗？我的理解是：可分。因为A和B在同一个维度上，而且利用核函数的性质，线性转换不会改变在高维度的非线性分割能力。但是我认
2020-11-23 16:30:55
113
原创 （持续更新）20201119-MySQL （Leetcode）刷题笔记- HK
MySQL遇到的小坑汇总 - 2输出NULL值，需要在外面嵌套一层select若使用以下代码进行select，会导致select结果为null的结果无法返回；找到工资第二高的工资数值：select distinct Salary as "SecondHighestSalary"from Employee order by Salary desc limit 1,1进行NULL的可输出处理，如下：select (select distinct Salary from Employe
2020-11-22 12:00:27
83
原创 Anaconda - 坑及解决办法汇总 - 20201122 - HK
Anaconda导入或界面遇到的坑无法切换新环境error：create了一个新环境的时候，只能选择python3.8，而且创建以后无法从base切换过来，里面的keras等包都会apply出错；解决：remove这个环境，关闭anaconda，关闭终端，重启anaconda，重新create一个新环境，创建时能够选择python其他版本就说明正常了。导入smart_open库出错error：ImportError: cannot import name 'open'解决：这是sm
2020-11-22 11:51:04
489
1
原创 （持续更新）20201119-MySQL （Leetcode）刷题笔记 - HK
MySQL遇到的小坑汇总 - 1派生的表一定要起一个别名：下面这个代码片段会报错；Error：every derived table must have its own aliasselect class as class from (select distinct * from courses) group by class having count(student)>=5是因为select distinct * from courses这里的select产生了一个新的表，
2020-11-19 10:50:38
79
原创 LeetCode（力扣笔记） - 20201113 - HK
刷力扣遇到的问题 - 坑总结 - 1数组越界error:– list assignment index out of range列表分配的索引超出范围原因：（1）List[index]的index由于循环遍历的i+1之类的操作，超出了列表范围；（2）一个List是空的[ ]，进行了List[0]的操作，也会导致这个报错；解决：（1）使用双指针等方法避免指针指向界外；（2）用空的{}代替空的[]，把[0]作为一个key，存入一个value，可以解决空的结构不能调用a[0]的问题；滑
2020-11-14 14:32:48
108
原创 Python-intro机器学习-笔记-20201109-HK
机器学习入门笔记整理决策树回归器：设置Max_leaf_nodes，防止过拟合；def get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y): model = DecisionTreeRegressor(max_leaf_nodes=max_leaf_nodes, random_state=0)对比多个Max_leaf_nodes参数，找到MAE最优的那个：# compare MAE with differing val
2020-11-09 11:07:06
189
原创 （持续更新）Python-Pandas-笔记-20201102-HK
Pandas库-笔记整理（1）-20201102对多变量的索引重置对象.reset_index()生成对多变量的多统计表对象表名.groupby(['tag_1', 'Tag_2']).description.agg([调用函数_1, 调用函数_2])groupby()默认用index来排序；sort_values(by=[‘变量名1’], [‘变量名2’])可以设置使用表中数据进行排序，默认优先用变量名1排序。使用groupby按照某列（A）进行分组后，需要对另外一列（B
2020-11-02 23:56:17
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人