![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 83
郝伟博士
郝伟,男,留日计算机博士,副研究员,硕士生导师。师从东京大学松崎公纪教授,主要研究方向为网络安全、并行计算与大数据,尤其是在网络环境下大数据安全性的研究。北京华云安信息技术有限公司首席研究员,中新网安技术研究员,上海莱镁晟信息科技有限公司技术顾问。参与国家973项目和国家科技重大专项各1项,主持国家科研项目1项,13项国家发明专利,各类论文25篇,合肥市政认定高层次人才。与清华大学、海克斯康、国防科技大学等多家单位有技术合作。
展开
-
使用pandas就要多用数组计算而不是循环计算
前言在处理数组数据时,传统的思维是使用循环。这本是很常规的操作,但是当我们在使用Pandas时(注:其实本质上还是numpy),使用其自身的计算方式会有极大的性能优势。下面我们来看这样的一个示例。示例在本示例中,我们对一个包括10条数据的模板(包括id和score两个字段)进行1万次复制,复制完成后合并成一个单独的DataFrame,总数据量为10万行。由于模板中的id取值是0,1,2…,9,所以在复制以后,会有大量的重复的0-9的id。为了保证id的唯一性,现在重新对id进行统一编码,值的范围为0,原创 2021-10-20 09:40:24 · 304 阅读 · 0 评论 -
pandas读取CSV文件注意事项
前言本文是给使用pandas的新手而写,主要列出一些常见的问题,根据笔者所踩过的坑,进行归纳总结,希望对读者有所帮助。示例文件将以下内容保存为文件 people.csv。id,姓名,性别,出生日期,出生地,职业,爱好1,张小三,m,1992-10-03,北京,工程师,足球2,李云义,m,1995-02-12,上海,程序员,读书 下棋3,周娟,女,1998-03-25,合肥,护士,音乐,跑步4,赵盈盈,Female,2001-6-32,,学生,画画5,郑强强,男,1991-03-05,南京(原创 2021-06-14 20:55:35 · 6603 阅读 · 4 评论 -
深入理解人工智能模型能力指标F1的具体意义
文章目录简介示例结论简介在对人工智能训练能力水平评估的标准中,准确性(Accuracy),精准度(Precision),召回率(Recall)和 综合指标 F1。 三前者相对比较好理解,基具体定义如下:准确率(ACC):(TP+TN)/(TP+FP+TN+FN)精准率(PRE):TP / (TP + FN)召回率(REC):TP / (TP + TN)但是F1的定义相对复杂一些,定义如下:F1=21PRE+1RECF1 = \frac2 {\frac1{PRE} + \frac1{REC原创 2021-05-16 15:21:57 · 3961 阅读 · 3 评论 -
[论文解读] 自然语言处理:基于深度学习的知识表示学习研究进展(研究综述)
论文简介0.1 文章信息论文题目:知识表示学习研究进展 Knowledge Representation Learning: A Review发表级别:计算机研究与发展 ›› 2016, Vol. 53 ›› Issue (2): 247-260.作者列表:刘知远,孙茂松,林衍凯,谢若冰作者单位:清华大学计算机科学与技术系简介页面:链接下载地址:链接0.2 摘要人们构建的知识库通常被表示为网络形式,节点代表实体,连边代表实体间的关系。在网络表示形式下,人们需要设计专门的图算法存储和利用知识原创 2021-04-18 08:49:08 · 809 阅读 · 0 评论 -
一分钟理解SoftMax函数
前言SoftMax函数是常用的一个机器学习中的函数,网上的解释很多,你看到的可能是这样的。如果你不是搞学术的,或者数学基础不是那么好,那么我要告诉你:千万不要看!千万不要看!!千万不要看!!!或者是这样的:因为这些内容不仅让人难以理解,而且容易对于初学者还会造成一定的误区。本文以示例和代码进行解释,非常简单直白式,让读者能够快速理解。一分钟示例请从头到尾认真阅读本节,只要你认真看完成了,1分钟即可理解SoftMax函数。解释:给定三个变量 x1=5,x2=−3,x3=0.8x_1=5原创 2021-04-19 14:17:13 · 1221 阅读 · 0 评论 -
梯度下降计实例计算(三维)
简介在文章 1中,介绍了一维函数进行梯度下降的示例。在本文中,我们将介绍二维的梯度下降。函数定义已经函数 z=f(x,y)=(x−4)2+(y−4)2=x2+y2−8x−8y+32z=f(x, y) = (x-4)^2 + (y - 4)^2=x^2+y^2-8x-8y+32z=f(x,y)=(x−4)2+(y−4)2=x2+y2−8x−8y+32。方向导数分别为zzz的xxx偏导数: ∂z∂x=2x−8\frac{\partial z}{\partial x} = 2x-8∂x∂z=2x−8原创 2021-03-29 08:29:47 · 1854 阅读 · 2 评论 -
梯度下降计实例计算(二维)
梯度下降计实例计算(二维)文章目录内容简介示例说明绘制曲线进一步讨论参考资料内容简介梯度下降是在机器学习中重要的计算内容。本文就一个具体的示例,展示如何在梯度下降中。示例说明设损失函数 y=loss(x)=(x−4)2y=loss(x)=(x-4)^2y=loss(x)=(x−4)2,令此函数的导数为g(x)=y′=loss′(x)=2x−8g(x)=y'=loss'(x)=2x-8g(x)=y′=loss′(x)=2x−8。 在一般情况下,如果可以得到g(x)g(x)g(x),那么只要解出 g(原创 2021-03-21 14:13:39 · 2544 阅读 · 1 评论 -
非常详细的Series核心操作使用详解
文章目录简介1 创建1.1 通过字典操作1.2 通过numpy数组创建1.3 通过标量创建2 数据访问2.1 通过下标访问2.2 通过索引访问2.3 通过切片访问2.4 布尔变量访问3 索引操作根据数据分组3.1 索引属性3.2 访问索引4 基本操作4.1 添加数据4.2 删除数据4.3 修改数据4.4 查看数据4.5 重建索引4.6 数据对齐5 数据统计5.1 功能介绍5.2 代码演示6 注意事项参考简介Pandas是非常强大的二维数组操作库。而二维库是由多个一级的series组成,它具有以下内容:原创 2021-03-08 11:34:38 · 4341 阅读 · 1 评论 -
实验验证二项分布(Binomial)公式正确性
1 实验目的本次实验主要是通过随机生成的符合Binomial分布的随机数,以验证其概率计算公式的正确性,其公式定义如下:P(X∣n,k)=(kn)pk(1−p)(n−k)P(X|n,k) = (_k^n)p^k(1-p)^{(n-k)}P(X∣n,k)=(kn)pk(1−p)(n−k)其中,(kn)=Cnk=n(n−1)(n−2)...(n−k)=n!k!(n−k)!(_k^n)=C_n^k=n(n-1)(n-2)...(n-k)=\frac{n!}{k!(n-k)!}(kn)=Cnk=n(原创 2021-02-02 11:45:14 · 1408 阅读 · 0 评论 -
[论文研读] 2021A01 知识图谱在小米的应用与探索
文章目录1 文章介绍2 应用场景:智能问答3 实现流程与原理3.1 语音识别模块3.2 意图识别模块3.3 实体查询模块3.4 实体推荐模块4 三大关键技术4.1 实体链接:根据特征与实体模板进行关联。4.2 知识整合4.3 自动化构建技术5 其他技术参考数据1 文章介绍知识图谱在小米的应用与探索,作者为小米公司的彭力(小米公司),发表在开放知识图谱公众号, 日期为 2020.11.18。作者彭力,ID小米AI Lab知识图谱高级软件工程师,参与IEEE p2807知识图谱的标准制定;在小米主要负责知识原创 2021-01-16 13:00:53 · 695 阅读 · 0 评论 -
使用三次回归预测2020年淘宝双11销量约为3282亿
2019年,本人发了篇文章,《双十一数据造假?让我们用Python来验证一下》,在2019年淘宝双11后,对其数据进行了分析。今年,利用这个计算结果,对2020年淘宝双11的销量进行回归预测。计算结果显示2020年的中位数为 3282亿,有98%的几率落在区间 [3216, 3347] 上,请拭目以待 ,看看这个预测是否准确。...原创 2020-10-28 18:38:30 · 590 阅读 · 0 评论 -
一个具体的BP算法示例
简单的神经网络根据身高H和体重W,我们可以建立以下的神经网络:损失函数根据上一节的内容,我们可以知道,损失函数可以定义如下:Loss=1n∑i=1n(yi−y^i)2Loss = \frac{1}{n} \sum_{i=1}^n (y_i-\hat y_i)^2Loss=n1i=1∑n(yi−y^i)2所以,损失函数实际是上包括 w1,w2,w3,w4,w5,w6,b1,b2,b3w_1, w_2, w_3, w_4, w_5, w_6, b_1, b_2, b_3w1,w2原创 2020-09-29 19:16:08 · 471 阅读 · 0 评论 -
人工智能真的智能吗?
近几年人工智能比较热,人工智能的发展也非常好,在我们的身边,已经有越来越多的应用出现,如人脸识别, 语音输入、自动驾驶、游戏对战等。这些应用体现出机器也可以象人一样去处理一些复杂的事情,能够应对各种非简单计算或流程化就可以简单处理的业务场景。看上去,人工智能真的就象人一样,可以进行“智能”的思考和工作。但是实际真的能说明人工智能真的智能吗?事实上,恰恰相反,人工智能仍然只是啥也不知道只会根据输入利用其强大的计算能力做计算的机器,仍然没有任何一点可以与人类的智能相比,或者说任何一点可以达到人类的智能程度。为原创 2020-09-23 11:55:27 · 832 阅读 · 0 评论 -
一架飞机有三年不出错的几率有多大?
根据概率学计算飞机一百万个零件连续三年不出错的几率有多大。168.268949213709%0%295.449973610364%0%399.730020393674%0%499.993665751633%8.6901145E-164%599.999942669686%3.207046232974%699.999999802683%98.823075341442%正态分布μ\muμ表示平均值,σ\sigmaσ...原创 2020-08-17 08:15:01 · 369 阅读 · 0 评论 -
在概率与数理统计中常用的公式(添加中...)
平均分布f(x)=1b−af(x) = \frac{1}{b-a}f(x)=b−a1正泰分布(Gauss分布)概率密度函数f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}f(x)=2πσ1e−2σ2(x−μ)2概率分布函数F(x)=∫−∞∞f(x)d...原创 2020-05-12 06:51:28 · 677 阅读 · 1 评论 -
王垠:不再推荐 Haskell
0 前言在看论文的时候,发现用了Haskell,本来想温故一下,发现有篇文章写的不错,转过来,大家分享一下。以下是原文。在之前的一篇博文里,我推荐从函数式语言入手掌握程序语言。推荐的两种语言是 Scheme 和 Haskell。可是出于多种原因,我必须告诉大家,我已经不再推荐 Haskell。这里的原因比较深入,可能不容易说清楚,所以只简述一下。如果有异议的话,可以来信跟我讨论,这样也可以帮我...转载 2020-03-14 14:18:36 · 4426 阅读 · 0 评论 -
Maple中的sequence, set和list
在数学计算中,序列、集合与列表是最常用的几种基本数据类型。在Maple中,有相应的数据结构与之对应。本文就这几种数据结构在Maple的使用方法进行简要说明。原创 2020-03-02 19:41:37 · 2255 阅读 · 0 评论 -
双十一数据造假?让我们用Python来验证一下。
前言淘宝双十一的数字每年都创新高,今年更是达到了2684亿。然后在数字的背后,有人提出了质疑,其中最著名是今年四月的一则微博,作者用双十一前10年的数据进行拟合,并成功预测今年双十一的数据区间为2675.37 - 2689,如下图所示。那么事实是不是这样,他说的有没有道理。今天我们就用Python来验证一下。准备知识首先,我们先简单介绍一下拟合的工作原理。如上图的散点图所示,如果有了近十...原创 2019-11-17 08:06:17 · 2584 阅读 · 2 评论 -
强大的数学专业工具Maple快速上手
目前数学软件国内常用的是Matlab或Mathematics,但是还有一款非常强大的来自加拿大的软件Maple,是笔者非常喜欢的一款数学软件。它是目前世界上最为通用的数学和工程计算软件之一,在数学和科学领域享有盛誉。本文简要介绍了Maple的主要常用功能,让读者能够快速上手。原创 2020-02-29 14:40:11 · 2402 阅读 · 0 评论 -
一个案例讲清楚条件概率与贝叶斯公式
条件概率就是指在一个事件发生时,另一事件发生的概率。概念虽然简单,在实际在使用的时候经常让人搞混淆,所以本文通过一些示例,详细介绍条件概率。原创 2020-01-18 10:09:39 · 2841 阅读 · 2 评论 -
从数学上证明墨菲定律
本文使用简单的数学方法对墨菲定律进行数学证明,并使用基于Python的实例进行验证。原创 2020-01-11 16:20:25 · 4747 阅读 · 0 评论 -
通过一个具体实例来快速理解贝叶斯定理
贝叶斯定理给定事件集合 A={Ai,A2,...,An}\mathbb{A} = \{A_i, A_2,...,A_n\}A={Ai,A2,...,An},满足 0≤Ai≤10 \leq A_i \leq 10≤Ai≤1,P(Ai∩Aj)=0(i≠j)P(A_i \cap A_j) = 0(i\neq j)P(Ai∩Aj)=0(i=j),且 ∑i=1nAi=1\sum_{i=1}...原创 2020-01-13 14:37:09 · 893 阅读 · 0 评论 -
证明:无理数乘以非零的有理数仍然是无理数
题目:设 aaa 是无理数,bbb 是非零有理数,则 ababab 一定是无理数。反正法:假设 ababab 是有理数,则 ab=cdab = \frac{c}{d}ab=dc 其中 ccc,ddd 都是有理数。等式两边同除以 bbb,可得 a=cbda=\frac{c}{bd}a=bdc 由于 b,c,db,c,db,c,d 都是有理数,所以 aaa 也是有理数,与假设矛盾,所以ab是无...原创 2020-01-13 14:34:15 · 3112 阅读 · 2 评论 -
梯度的几何含义
给定函数 f(x,y)=−(cos2x+cos2y)2f(x, y) = -(cos2x + cos 2 y )^2f(x,y)=−(cos2x+cos2y)2,则 ∇f\nabla f∇f 可以描述为在底部平面上的矢量投影(图片来源于Wikipedia)。根据图片所示,每个点的梯度是一个矢量,其长度代表了这点的变化速度,而方向表示了其变化速率最快的方向。所以通过这张图,我们可以很清楚地看到。...原创 2019-12-29 18:08:40 · 11674 阅读 · 0 评论 -
图解方向导数与梯度
举例来说,设函数y=f(x,y)=e−x2−y2y=f(x,y) =e^{-x^2 - y^2}y=f(x,y)=e−x2−y2,其函数图形如下所示。其方向导数为∇f=∂f∂xi→+∂f∂yj→=∂e−x2−y2∂xi→+∂e−x2−y2∂yj→=−2xe−x2−y2i→−2ye−x2−y2j→\nabla f = \frac{\partial f}{\partial x}\overrig...原创 2019-12-28 16:27:48 · 3539 阅读 · 0 评论 -
证明:SST=SSE+SSR
简介在线性回归计算(Linear Regression) 中,有三个非常重要的概念:SST=∑i=1n(yi−yˉ)2SST=\sum_{i=1}^n (y_i-\bar y)^2SST=∑i=1n(yi−yˉ)2,总离差平方和(Sum of Squares Total);SSE=∑i=1n(yi−y^i)2SSE=\sum_{i=1}^n (y_i-\hat y_i)^2SSE=∑i...原创 2019-12-15 10:56:13 · 28869 阅读 · 11 评论 -
安装和运行HanLP详解
文章目录使用 pip install pyhanlp 安装错误安装成功但运行提示缺省dataEclipse运行方法Python运行方法使用 pip install pyhanlp 安装错误可能会遇到网络下载错误,解决办法很简单,在网络好的时候多试几次即可。$ pip install pyhanlpCollecting pyhanlp Downloading https://files....原创 2019-12-11 09:58:00 · 2117 阅读 · 0 评论 -
【翻译】本福特定律和统计中的造假检测
英文原文:Benford’s Law and Accounting Fraud DetectionKeyword: Statistical Analysis Techniques, Accounting, Forensics / Fraud DetectionDate posted: 14 May 2011本福德定律本福德定律(也称为第一位数法或本福德分布)是一种概率分布,许多统计学的(但...原创 2019-06-23 15:59:31 · 3622 阅读 · 0 评论 -
当年打败世界冠军卡斯帕罗夫的深蓝电脑计算能力到底有多快?
IBM的深蓝电脑因在国际象棋比赛中,首次占用世界选手冠军卡斯帕罗夫而一举成名。时隔近20年,CPU速度到底差多少呢,让我们来比较一下。截止1997年6月,深蓝电脑是世界第 259 快的世界 TOP500 超级电脑, 计算能力为 11.38 GFLOPS(关于FLOPS的定义参见[1]){[1]})[1]). 而2010年,当时最快的处理器 I7 980XE 已经超过100GFLOPS,达到了10...原创 2019-03-31 19:24:33 · 7654 阅读 · 0 评论 -
通过证明理解两个矩阵的点乘
文章目录前言证明补充前言A=[a11a12a21a22]A= \left[ \begin{matrix}a_{11} & a_{12} \\a_{21} & a_{22} \\\end{matrix}\right]A=[a11a21a12a22], B=[b11b12b21b22]B= \left[ \begin{matrix}b_{11}...原创 2019-03-29 17:20:10 · 2359 阅读 · 0 评论 -
一张图理解深度学习的知识体系
这是作者经过几周的学习自己总结的深度学习的知识体系,这些知识基本是深度学习的部分必要知识,如果缺少某项知识,会对深度学习有所影响,建议对这些内容进行全面的理解。工具类,一般都是基于Python的库,当然也可以使用其他的语言进行。但是Python其简洁易用,能够极大地减少研究者的时间(通常我们认为研究者的时间比机器运行时间更宝贵),所以被广泛使用在人工智能领域。理论基础理论基础包括六块内容。...原创 2019-03-29 15:03:55 · 1700 阅读 · 0 评论