- 博客(28)
- 收藏
- 关注
RSS订阅原创 SQL | Greenplum数据库常用的时间操作
Greenplum数据库，也就是我们常说的gp数据库，其SQL语法与hive、mysql等有些不同，现将常用的时间操作函数整理如下，以供参考。
2023-02-28 07:45:00
2338
原创 Python | to_period()和agg()函数
分享两个很好用的函数：to_period()和agg()。to_period()是提取时间的函数，可以按年、月、日等。agg()是对数据做聚合操作，可以按意愿填写想要的聚合函数，比如min, max, median等。
2023-02-23 07:45:00
718
1
原创 学习笔记 | 独热编码(One-Hot Encoding)
最近学习机器学习，接触到独热编码相关内容，参考了一些资料，加上自己的思考，做出了如下总结。
2023-02-07 07:45:00
9210
1
原创 SQL 用外连接进行行列转换（列→行）：汇总重复项于一列
源表：目标表：源表建表代码：CREATE TABLE Personnel (employee varchar(32), child_1 varchar(32), child_2 varchar(32), child_3 varchar(32), PRIMARY KEY(employee));INSERT INTO Personnel VALUES('赤井', '一郎', '二郎', '三郎');INSERT INTO Personnel VALU
2021-12-29 12:41:26
456
原创 SQL 分地区排序：使用窗口函数、自连接和关联子查询三种方法解题
题目来源于《SQL进阶教程》一书，觉得有点意思，特来Mark一下。源表：建表代码：CREATE TABLE DistrictProducts(district VARCHAR(16) NOT NULL, name VARCHAR(16) NOT NULL, price INTEGER NOT NULL, PRIMARY KEY(district, name, price));INSERT INTO DistrictProducts VALUES('东北', '橘子',
2021-12-23 14:04:04
772
原创 Hive 利用lateral view, explode, split函数实现行转列
问题：一个联系人可能有多个号码，但是源表存的时候是放在一个字段的，分隔的形式也是多种多样，现在需要将它们一个个分开，实现行转列。举个例子，源表（phone_info）为namelinkman_phone小明126;946:789*235实现的结果为namephone_number小明126小明946小明789小明235有兴趣的朋友可以先试试，不急着往后看解析。解析思路：利用split函数将合并在一起的字段拆分开，然
2021-12-21 12:40:37
1302
原创 Hive 利用collect_set, regexp_replace, row_number开窗函数按时间顺序对地址进行排序后合并
工作中遇到的一个数据治理问题：治理出某地常住人口的地址变更内容，并按时间升序后合并展示。举个例子，小明2019年住在A地，2020年搬到B地，2021年搬到C地，小华2019年住在E地，2021年住在F地，原始数据表（human_address）为namedetail_address_namelast_modification_time小明A2019小明B2020小明C2021小华E2019小华F2021治理后的展示结果为
2021-12-20 22:41:43
2059
转载 基于conv-lstm方法预测共享单车需求
基于conv-lstm方法预测共享单车需求主要参考的论文是：Bao J, Yu H, Wu J, et al. Short-term FFBS demand prediction with multi-source data in a hybrid deep learning framework[J]. Iet Intelligent Transport Systems, 2019, 13(9): 1340-1347.大纲数据来源单车数据poi数据实验设置conv-lstm优势模型
2020-07-30 10:57:44
2596
3
转载 利用Python进行数据分析之超市零售分析
AuthorBryce230e-mailiswangjt@163.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7，jupyter notebook超市零售数据分析1 背景与需求2 数据收集与整合3 数据清洗4 数据分析及可视化4.1 销售情况分析4.1.1 销售额分析4.1.2 销量分析4.1.3 利润分析4.1.4 客单价分析4.1.5 市场布局分析4.2 商品情况分析4.2.1 销量前10名的商品4.2.2 销售额前10名的商...
2020-07-27 22:02:00
10372
7
原创 如何利用MATLAB爬取需要登录的网站
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Matlab2018a可以参考的文章有这两篇：如何用 Python 爬取需要登录的网站？需要登陆网站后才能获取数据的页面爬取不过他们都是用python实现的，网上关于MATLAB爬取需要登录的网站资源较少，刚好今天研究了下，在此记录分享。我用的是获取’User-Agent’和 'Cookie’直接请求登录，爬取内容为自己学院的历届就业信息。1）首先获取需要爬取的...
2020-06-10 17:31:40
2404
原创 利用Matlab调用百度人脸识别API的颜值评分系统
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Matlab2018aGUI的界面设计和功能框架1） 首先根据功能需求，用铅笔简单设计出界面草图，然后根据草图的分布情况，各个部分的类型，是“按钮”，“文本框”，还是“下拉框”等，编程建出GUI；2） 预先设想在两图之间，或者图的下方建立一个按钮进行比较，后面觉得比较丑，就将标题的类型改为“按钮”，这样就节省了一个按钮位置，看起来也比较舒服；3）加载图片功能实现：...
2020-06-03 22:56:08
1695
原创 如何使用Matlab绘制常见的K线图（蜡烛图）
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7关于画K线图，Matlab有一个自带的函数candle，画图效率很高，但是它有个缺点，就是画出来的图和我们平时看到的有所不同，candle画出的图如下所示（这里以中国人保为例）：所以，我们要做的是更改K线图，让它变得和我们平时看到的一样，有色彩对比。操作思路如下：（1）我们观察图片可知，图片基本可以分为竖线和矩形...
2020-05-27 15:32:43
10745
4
原创 机器学习之支持向量机（SVM）学习笔记-Datawhale Task05
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7SVM笔记-Datawhale Task051 概要1.1 定义1.2 通俗理解2 SVM2.1 一些基本概念2.2 线性SVM算法原理2.3 非线性SVM算法原理2.4 常用的核函数及对比3 总结4 参考资...
2020-04-28 11:46:22
754
原创 机器学习之条件随机场（CRF） 学习笔记-Datawhale Task04
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7条件随机场笔记-Datawhale Task041 马尔可夫过程2 隐马尔科夫算法3 条件随机场4 CRF与HMM的比较5 CRF基本问题6 预测问题之维特比算法7 代码实现8 参考资料1 马尔可夫过程定...
2020-04-26 21:28:01
334
原创 机器学习之EM算法 学习笔记-Datawhale Task03
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7EM算法笔记-Datawhale Task031 前言2 EM算法的通俗理解2.1 抛硬币2.2 盛菜3 EM算法3.1 EM算法的流程3.2 EM算法的另一种理解3.3 EM算法的应用4 高斯混合分布5 代...
2020-04-24 09:58:03
612
原创 机器学习之朴素贝叶斯（Naive bayes）学习笔记-Datawhale Task02
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7朴素贝叶斯笔记-Datawhale Task021 基本概念2 使用条件概率来分类3 使用朴素贝叶斯进行文本分类4 从文本中构建词向量4.1 从词向量计算概率4.1.1解决零概率问题4.1.2 解决下溢问题4...
2020-04-22 20:04:52
793
原创 机器学习之线性回归（Linear regression）学习笔记-Datawhale Task01
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7线性回归笔记-Datawhale Task01线性回归梯度下降特征缩放学习率梯度上升正规方程评估指标代码实现参考资料线性回归线性回归分为单变量线性回归和多变量线性回归，一般来说，多变量线性回归在实践中比较...
2020-04-20 11:16:26
412
原创 Python中的遍历切片和复制列表
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7我们先来看一段程序：my_num = [1, 2, 3]friend_num = my_nummy_num.append(4)friend_num.append(5)print(my_num)...
2020-04-03 11:19:15
454
原创 Python中continue和break的使用区别
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7先看两个例子：例1n = 0while n < 10: n = n + 1 if n % 2 == 0: continue print(n)运...
2020-04-01 13:20:46
341
原创 机器学习-k-近邻算法学习笔记
AuthorBryce230e-mail2540892461@qq.comSoftwarewin10，Pycharm2019.3.3，Python3.7.7k-近邻算法概念从字面意思可以知道，该算法是提取样本集中特征最近邻（最相似）的分类标签；而其中的k表示我们只选择样本数据集中前k个最相似的数据，一般来说k不大于20，取整数。k-近邻算法先来程序：""...
2020-03-21 11:25:42
153
原创 基于Matlab的图片转base64格式
图片转base64格式网上更多存在的是基于Java或Python的转码，最近需要利用Matlab来进行转码，通过file exchange找到了base64file函数，直接调用即可。如果不能直接调用，可以将其作为一个子函数来进行调用，具体的base64file函数源代码如下：function base64string = base64file(file)%BASE64FILE encode...
2020-03-18 10:03:53
1152
3
原创 如何解决Python中利用python -m pip install --upgrade pip更新和pip install numpy安装无效问题
Python中更新pip和安装numpy更新pip问题提示常规方法加入镜像快速更新安装numpy方法一方法二总结更新pip问题提示利用pip show pip，可以看到pip的版本及相关信息，有时还会弹出以下信息——WARNING: You are using pip version 19.2.3, however version 20.0.2 is available.You should...
2020-03-17 15:17:35
8090
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人