- 博客(26)
- 收藏
- 关注
RSS订阅原创 [SQL Server] 行转列 Case When
简介如何在SQL Server中实现行专列的查询实战操作创建一张临时表 #amountcreate table #amount( Year Nvarchar(10), Quarter Nvarchar(10), Amount float)insert into #amountselect '2019','Q1',1.1union allselect '2019','Q2',1.2union allselect '2019','Q3',1.3union al
2021-03-16 11:34:38
462
原创 [Python]数据可视化：Jupter Notebook 中最新版本Pyecharts的基本使用
简介Echarts是百度开源的一个数据可视化 JS 库，主要用于实现美观的数据可视化。Pyecharts 主要是生成Echarts的类库，简单点说就是Python和Echarts的对接。安装Pyecharts本文建议用户通过管理员权限来安装Pyecharts，不然后期有可能会遇到存在pip list中但无法调用的问题具体安装步骤：在搜索框中输入 cmd右键Command Prompt，然后以管理员身份运行在执行框中输入如下代码pip install pyecharts安
2021-03-01 17:17:52
3681
1
原创 [Python]时间复杂度和空间复杂度
简介在编写Python中的自定义函数或算法时，减低时间复杂度和空间复杂度，会大大提升Python自定义函数或算法的整体性能。时间复杂度时间复杂度是用来估计自定义函数或算法运行时间的一个式子（单位）,时间复杂度常用“O”表述，而且时间复杂度可被称为是渐近的，它考察当输入值大小趋近 ∞\infin∞ 时的情况时间复杂度为 O(1)的例子print('Hello!')print(1)时间复杂度为 O(n)的例子# 其中range(n) 换成range(length(n))或者直接换成n，其时间复
2021-02-24 16:59:12
4984
原创 [Python]Error：‘int‘ object is not callable解决方法
简介当书写Python不规范时，经常会遇到 ‘int’ object is not callable 的报错信息，如下图所示原因当显示 is not callable 时，表示 Python 代码调用了一个不能被调用的变量或者对象，有可能是可能是调用了错误的函数或者变量（即函数和变量重名），使得调用函数时，系统会误认为这是在调用变量，造成错误。上图中的变量sum就与函数sum重名。解决方法找到发生冲突的函数和变量，重新定义变量名称上图中的解决方案如下：def variance (*args
2021-02-20 17:11:11
46929
3
转载 [SQL Server] TSQL实现SQL Server中CTE 递归查询
简介递归查询主要应用于层级结构表的查询：叶节点-> 根节点的查询根节点-> 叶节点的查询递归查询必须满足的条件初始条件递归查询至少包含两个子查询：两个子查询使用union all，求并集第一个子查询称作定点（Anchor）子查询：定点查询只是一个返回有效表的查询，用于设置递归的初始值；第二个子查询称作递归子查询：触发递归查询，实际上是递归子查询调用递归子查询终止条件递归查询没有显式的递归终止条件，只有当递归子查询返回空结果集（没有数据行返回）或是超出了递归次数的最
2021-02-20 13:44:02
921
翻译 [算法]PRML学习笔记1.2.6贝叶斯曲线拟合（Bayesian curve fitting）
简介尽管包括了先验分布p(w∣α)p(w|\alpha)p(w∣α)，但到目前为止仍在对www进行点估计，因此这还不等于贝叶斯的处理方式。 在完整贝叶斯的方法中，应始终如一地应用概率的和(sum)和乘积(product)规则，这将要求，正如将很快看到的那样，需要对www的所有值进行积分(integrate)。 这种边缘化(marginalizations)是贝叶斯模式识别方法的核心。...
2021-01-29 16:18:45
1539
原创 [Hive]Hive SQL进阶使用（基于 Azure云）：函数创建 1 -VS Code 配置 Maven环境
前期准备在开始配置Maven环境之前，需要确保电脑已经拥有如下三样东西：JDK -> 已经配置完环境变量VS Code 程序Maven 程序包 -下面会阐述Maven程序包如何下载与Maven环境变量的配置Maven 程序包下载与Maven环境变量配置下载最新版本的Maven程序包前往如下链接：Apache Maven 官方下载选择合适自己的程序包，本文选择的是如下程序包Maven环境变量配置所下载的Maven程序包，本文使用的是7-zip解压将解压后的文件夹
2021-01-22 14:59:09
532
原创 [Hive] Hive SQL基础语法总结（基于 Azure云）：时间以及日期处理
准备这里所用的数据集，如下图显示：时间以及日期处理，实例展示获取当前时间截（timestamp）使用unix_timestamp() 函数select unix_timestamp() 展示结果为：获取当前时间使用current_timestamp()函数select current_timestamp() -- 精确到秒之后展示结果为：基于当前时间截图unix_timestamp()函数SELECT from_unixtime(unix_timestamp())--
2021-01-20 13:38:13
576
原创 [Hive] Hive SQL基础语法总结（基于 Azure云）：列转行，行转列
前提使用的是如下信息表进行操作以及展示：select * from test_daniel其展示结果为：列转行使用函数：concat_ws(‘split_type’,collect_list(column))规范代码格式：select column1,concat_ws('split_type',collect_list(column2)) as new_column_name from table_namegroup by column1-- 语法含义：把相同的 column1
2021-01-18 13:28:26
311
1
原创 [Hive] Hive SQL基础语法总结（基于 Azure云）：查看操作命令 + 创建表结构及实例展示
Hive是基于Hadoop之上的类SQL语句，运用SQL来实现对数据进行操作。本文是基于 Azure云。查看操作命令查看 databaseshow databases-- namespace中展示所有的数据库（database）名称其结果展示为：查看 tableshow tables-- database中展示当前database名称，这里的默认的database为default-- tableName中展示所有的表（table）名称-- isTemporary表示表是否为临时表，t
2021-01-18 12:51:59
524
翻译 [算法]PRML学习笔记1.2.5曲线拟合（Curve fitting re-visited）
简介在前面章节的学习中，已经可以看到如何解决多项式曲线拟合（polynomial curve fitting）的问题，可以采用误差最小（error minimization）的方式。现在从概率的角度（probabilistic perspective）回过头来看曲线拟合的问题，从而获得了一些关于误差函数（error functions）和正则化（regularization）的见解，以及走入一个完整的贝叶斯（Bayesian）处理方式。曲线拟合曲线拟合问题的目标是由N个输入值x=(x1,...,xN)
2021-01-17 00:17:19
516
原创 [Python]字典（Dictionary）的进阶使用
结合之前所写的字典（Dictionary）的基本使用事例以及演示事例字典dictionary = {'lilei':97, 'ming':88, 'hong':20, 'ming':66}内置函数计算字典唯一元素个数唯一值键（key）的总数，使用len()函数len(dictionary)#输出为：3，因为ming是重复值键只记录一次字符串表示使用str()函数str(dictionary)#输出为："{'lilei': 97, 'ming': 66, 'hong': 20}"
2021-01-11 23:34:04
211
原创 [Python]字典（Dictionary）的基本使用
字典是一种可变容器模型，且可以储存任意类型对象。格式字典（包含在{}）中的每个值键（key）对应的值（value）都用 ‘:’ 进行分割，其格式如下：dictionary = {key1:value1, key2:value2, key3:value3, ..., keyn:valuen}# key的数据类型只能为：字符串，数字或者元组# key用列表就不行, 如['key1']# value可以取任意数据类型查找字典里的值创建如下字典dictionary = {hong:27, min
2021-01-10 23:53:09
293
翻译 [算法]PRML学习笔记1.2.4高斯分布
简介在第二章中将专门研究各种概率分布以及其关键特性。在这里引入对于连续变量（continous variables）来说最重要的概率分布之一：正太分布（normal distribution）或者高斯分布（Gaussian distribution）。在本章的其余部分以及本书中的大部分内容将广泛使用这种分布。高斯分布在单个实值变量xxx的情况下，高斯分布定义为如下公式(1.46)：N(x∣μ,σ2)=12πσ2exp(−12σ2(x−μ)2)N(x|\mu,\sigma^2)=\sqrt{\dfrac
2021-01-06 17:32:05
629
转载 [Python]在Python 中完成 Sql Server 查询并转换成 Dataframe
本问参照的是作者 Vic Liu书写的查询脚本，其博客为：https://blog.csdn.net/upluck准备工作使用到的包：pymssqlsqlalchemy ：Object Relational Mapping（对象关系映射）工具pandas导入包import pymssqlfrom sqlalchemy import create_engineimport pandas as pdfrom sqlalchemy.sql import text as sql_text
2021-01-04 17:09:18
1039
原创 [SQL Server]行转列pivot透视表的创建
应用场景在使用SQL Server时，基于原有的表做一张透视表（pivot table）SQL代码以及实例展示SQL代码SELECT expression ,[value_in_field] ,[value_in_field] ..... ,[value_in_field]FROM (SELECT expression,field,field_polymer FROM table_resource)APIVOT (expression_polymer(field_polymer)
2020-12-31 23:20:47
541
原创 [SQL Server]取出/返回字段中指定字符前后的字符
使用到的函数SUBSTRING 分列SUBSTRING ( expression, start, length ) --expression：表达式/fields；不能使用聚合函数--start：指定字符串的开始位置；整数或使用能够转换为 int 的表达式--length：指定字符串的长度；整数或使用能够转换为 int 的表达式，且返回值不能为负数CHARINDEX查找出指定字符的位置CHARINDEX ( expressionToFind , expressionToSearch
2020-12-30 00:11:16
5706
翻译 [算法]PRML学习笔记1.2.3贝叶斯概率论
贝叶斯概率论简介在本章前面的学习中，已经从随机的、可重复的事件出现的频率角度中观察了概率。这些被称为概率的经典或常规解释。这一篇的学习将转向普遍的贝叶斯观点，这里概率将不确定性进行了量化。不确定事件接下来列举几个不确定事件：月亮是否曾经是围绕着太阳公转北极冰层是否会在本世纪末消失这些不确定事件无法通过重复多次来对其概率下定义，不像之前 1.2 开头所列举的从水果盒中取水果来判断概率的例子一样。下面两张图为 1.2 水果盒例子。尽管如此，这里依旧能通过一些想法来对北极冰层是否会在本世纪
2020-12-28 23:45:04
439
原创 [Github] Visual Studio Code 遇见“Make sure you configure your “user.name“ and “user.email“ in git.“
遇见的报错当git 配置不完善时，在commit时会遇见如下报错：解决方案第一步：进入terminal第二步：cd 到\Program Files\Git\bin 这个位置，使用如下代码cd C:\Program Files\Git\bin 第三步：配置 git config 中 global中的user.email 信息，使用如下代码git config --global user.email "your user email"第四步：配置 git config 中 global中的
2020-12-25 11:20:12
7590
原创 [Python] pandas下merge函数的使用
简介python中的pandas库拥有类似于sql server 中 join 的数据合并函数merge()其语法格式如下：pandas.merge(left（主表）, right（副表）, how='merge的方法', on='基于什么去merge（只用on的话两张表必须是同一字段名称）', left_on='主表基于什么去merge', right_on='副表基于什么去merge', left_index='是否使用主表的index', right_index='是否使用副表的index',
2020-12-22 23:30:48
885
翻译 [算法]PRML学习笔记 1.2.2 数学期望和协方差
数学期望在概率学中最重要的事情之一就是寻找出函数的加权平均值。其中函数f(x)的数学期望E[f]是根据其在概率分布p(x)下的平均值计算得出。对于离散分布变量，其公式为：E[f]=∑xp(x)f(x)\displaystyle\sum_{x}p(x)f(x)x∑p(x)f(x)因此，从这个公式可以得出对于离散变量来说数学期望（平均权重）来自于根据各个不同变量x相关的f(x)与这个f(x)相对概率p(x)计算得出。这里比较绕，根据个人理解可以分为以下几步：找出所有可能出现的变量x将其中一个变量x
2020-12-20 23:50:13
1482
原创 [Python]将已有DataFrame分组聚合后（group by）的统计信息（describe（））导入到新的 DataFrame
描述在数理统计中，百分位对数据有很好的描述性，并且也能帮助判断数据的异常值的状态。本文以时间维度来切入讲解如何使用python拉取dataframe分组聚合后的统计信息。事例（前提介绍）小明在日常生活中想要寻找出，快递送达的时间是否会因为不可避免的因素而增加，比如这次全球性的疫情。因此，她决定通过观察近一年来每日快递送达时间各百分位下的变化状态，从而通过线性图初步观察快递送达的时间是否会因为全球性的疫情受到影响。但是面多海量的数据小明遇到了难题：如何将数据在聚合到每日的情况下找出每日各百分位的值？
2020-12-20 15:31:16
2012
原创 [Github] Visual Studio Code配置 Git (Mac)
准备工作从git官方下载Mac OS X git，本文采用的方法为进入terminal 输入：brew install gitvs code 与 git 相关联vs code 与git 相关联比较方便，本文没有对于ssh key进行配置操作：完成准备工作后进入vs code 界面打开想要关联git的文件夹右侧会出现source control的tab点击后选择 Publish to Github这时候你就可以选择上传的形式为私有还是公共在vs code 中做的更改如何同步到g
2020-12-20 12:35:53
2068
1
原创 [SQL Server]时间间隔计算 - DATEDIFF函数
DATEDIFF应用场景主要是用于计算两个时间点之间的间隔SQL格式 DATEDIFF([date type], time1, time2)Date typeSQL中Date type是用来定义两个时间点之间隔的类型间隔类型（Date type 可填写的种类）分为以下几种：year：年month：月day：日hour：小时minute：分钟second：秒计算逻辑SQL Server DATEDIFF 函数计算逻辑为 time2 - time1，即后输入的时间点减去前面输
2020-12-18 17:56:32
6348
1
转载 [SQL Server]窗口函数
[SQL Server]窗口函数参考文献：https://www.cnblogs.com/zhaoshujie/p/9594676.html功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入参考文献：https://www.cnb
2020-12-18 14:17:03
615
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人