- 博客(318)
- 资源 (3)
- 收藏
- 关注
RSS订阅翻译 2021 AI年度报告-stateof.ai出品【2】
承接上一篇的介绍一、简介stateof.ai 出品的2021 AI年度报告，其中包含了五点重要的总结：1：Research：2021年的AI重要科研进展回顾2：Talent：AI人才的市场供需情况3：Industry：AI在商业上的不同尝试4：Politics：AI在政策上、经济上的影响5：Predictions：接下来一年的AI进展预测这份188页的PPT报告由知名风投公司Air Street Capital的合伙人Nathan Benaich和投资了100+初创公司的天使投资人Ian H
2021-11-02 20:28:19
658
翻译 2021 AI年度报告-stateof.ai出品【1】
一、简介stateof.ai 出品的2021 AI年度报告，其中包含了五点重要的总结：1：Research：2021年的AI重要科研进展回顾2：Talent：AI人才的市场供需情况3：Industry：AI在商业上的不同尝试4：Politics：AI在政策上、经济上的影响5：Predictions：接下来一年的AI进展预测这份188页的PPT报告由知名风投公司Air Street Capital的合伙人Nathan Benaich和投资了100+初创公司的天使投资人Ian Hogarth联合撰
2021-11-02 15:17:21
1139
原创 Radical Empiricism and Machine Learning Research
论文链接：https://ftp.cs.ucla.edu/pub/stat_ser/r502.pdf今天要阅读的论文是2021年5月份的一篇，作者是图灵奖获得者、著名计算机科学家和哲学家Judea Pearl。本文从便利性、透明性和可解释性三个维度对数据科学中的“数据拟合”与“数据解释”方法进行了对比。“数据拟合”是由一种信念驱动的，即理性决策的秘密在于数据本身。相反，数据解释学派认为数据不是知识的唯一来源，而是解释现实的辅助手段，“现实”代表产生数据的过程。“我主张通过拟合和解...
2021-07-23 15:11:41
776
原创 Password Hardening Based on Keystroke Dynamics
Password Hardening Based on Keystroke DynamicsFabian Monrose Michael K. Reiter Susanne Wetzel Bell Labs, Lucent Technologies Murray Hill, N J, USA {fabian, re iter, sgwetzel}@research, bell-labs, comAbstract我们提出了一种新的方法来提高密码的安全性，即合法用户的键入模式（例如，击键的持续时间，
2021-07-22 17:23:20
332
转载 数据压缩与信息熵
http://www.ruanyifeng.com/blog/2014/09/information-entropy.html作者：阮一峰日期：2014年9月 7日1992年，美国佐治亚州的WEB Technology公司，宣布做出了重大的技术突破。该公司的DataFiles/16软件，号称可以将任意大于64KB的文件，压缩为原始大小的16分之一。业界议论纷纷，如果消息属实，无异于压缩技术的革命。许多专家还没有看到软件，就断言这是不可能的。因为根据压缩原理，你不可能将任意文件..
2021-07-21 14:44:41
554
原创 macOS python安装nodejs
因为jupyter lab上面无法展示plotly绘制的图片，查了一下是因为没有相关插件，需要安装nodejs来填坑；先回顾一下python（我用的是anaconda）安装包的方法：pip install 包名[==对应版本号]因为我安装好几次都是低版本的，没办法执行jupyter labextension install jupyterlab-plotly会报错：An error occured.ValueError: Please install nodejs >=
2021-05-18 17:19:36
621
原创 设备指纹学习笔记和思考
设备指纹：用户登录网页、APP时，后台记录的登录设备的“指纹”，能够准确识别该设备是否曾经登录过。设备指纹的核心是使用设备的唯一识别码。使用该唯一识别码，可以追踪用户登录网页、APP的行为特征，从而达到检测异常行为及欺诈行为的目的。传统的设备识别技术自PC互联网时代起，设备识别就是互联网用户追踪的重要手段。传统的设备识别技术主要包括：IP地址、cookie以及移动互联网特有的设备ID：IP地址是最早出现的设备标识方案。因为其简单易用，直到现在仍然广泛使用。但是由于网络中存在大量以一个公网IP作为
2021-04-19 11:07:52
1796
原创 特征工程-Feature Selection for High-Dimensional Data: A Fast Correlation-Based Filter Solution
Feature Selection for High-Dimensional Data: A Fast Correlation-Based Filter Solution2003Lei Yu [email protected] Liu [email protected] of Computer Science & Engineering, Arizona State University, Tempe, AZ 85287-5406, USAAbstract特征选择作
2021-03-05 15:33:50
1881
1
原创 CV-目标检测
关于目标检测的博客，有空逐步更新参考【1】一文读懂目标检测AI算法：R-CNN，faster R-CNN，yolo，SSD，yoloV2【2】汇总|目标检测中的数据增强、backbone、head、neck、损失函数
2021-03-01 10:05:53
239
原创 聚类算法手册--原理+评估方法
聚类算法 在无监督学习(unsupervised learning)中，训练样本的标记信息是未知的。 无监督学习的目标：通过对无标记训练样本的学习来揭露数据的内在性质以及规律。 一个经典的无监督学习任务：寻找数据的最佳表达(representation)。常见的有： 低维表达：试图将数据（位于高维空间）中的信息尽可能压缩在一个较低维空间中。 稀疏表达：将数据嵌入到大多数项为零的一个表达中。该策略通常需要进行维度扩张。 独立表达：使数据的各个
2021-02-25 16:33:05
2474
原创 ios之越狱篇
什么是越狱iOS 越狱(iOS Jailbreaking)，是用于获取苹果公司便携装置操作系统iOS最高权限的一种技术手段，用户使用这种技术及软件可以获取到 iOS 的最高权限，甚至可能可以进一步解开运营商对手机网络的限制。越狱软件适用于iPhone、iPod touch、iPad及 Apple TV 第二代上的 iOS 系统。用户越狱完毕之后，可以透过如Cydia这一类包管理器，来安装AppStore 以外的扩展软件及外观主题，或是完成越狱前无可能进行的动作，如安装Linux系统。越狱后的iPa.
2021-02-22 15:25:23
2369
原创 android手机root status，相应黑科技梳理
什么是Root？Root其实就类似于Windows系统里的超级管理员用户，存在于Linux系统、UNIX系统和类UNIX系统（如Android系统）中，是系统中唯一的超级管理用户，在系统中拥有所有权限，如启动或停止某个应用，或者是增加、禁用某些硬件。为什么要取得Root权限？取得Root权限后，相当于你就成为了整个系统的超级管理员，进行一些普通用户无法进行的操作，如：1、删除预装软件。现在非常多手机厂商喜欢在新手机上预装各种各样的预装应用，在获取了Root权限后，你就能随意删除这些没用的预装
2021-02-22 13:48:03
5564
转载 设备指纹学习笔记
一、定义 设备指纹是登录网页或者APP时后台记录的登录设备的指纹，可以准确识别该设备是否曾经登录过。 通过在网站或者移动端嵌入设备指纹SDK/JS，可以获取操作设备的多重属性，为每一个操作设备建立一个全球唯一的设备ID。该设备ID就相当于这个设备的指纹，不论这个设备使用何种浏览器、何种应用或是在何地，都能够唯一标识该设备。二、分类 设备指纹可以分为主动式、被动式以及混合式设备指纹。主动式: 在Web、APP嵌入SDK或者JS，主动收集与设备相关的信息和特征。 由于不同生态的平台对用户隐
2021-02-02 15:34:54
1114
转载 Hive入门及常用指令
本文链接：https://blog.csdn.net/ddydavie/article/details/80667727Hive最近在公司实习，对hive进行了学习，做了些整理的笔记。基础命令show databases; # 查看某个数据库use 数据库; # 进入某个数据库show tables; # 展示所有表desc 表名; # 显示表结构show partitions 表名; # 显示表名的分区show create table_n
2021-01-26 16:33:42
348
原创 UUID详细介绍
什么是UUIDUUID是指（Universally Unique Identifier）通用唯一识别码，128位。RFC 4122描述了具体的规范实现。UUID作用UUID 的目的是让分布式系统中的所有元素都能有唯一的识别信息。如此一来，每个人都可以创建不与其它人冲突的 UUID，就不需考虑数据库创建时的名称重复问题。其作用视场景而定。UUID定义UUID使用16进制表示，共有36个字符(32个字母数字+4个连接符"-")组成，格式为8-4-4-4-12；【一个16进制只代表4个bi..
2021-01-25 15:02:39
31967
1
原创 相似度算法
今天梳理的是底层的应用算法，计算相似度的。这种算法在nlp领域比较常见，其他的地方怎么用就仁者见仁啦～相似度算法算法名称 简单描述 LCS 最长公共子序列 Hamming Distance 汉明距离 Cosine Similarity 余弦相似度算法 1、欧式距离（Euclidean Distance）欧式距离全称是欧几里距离，是最易于理解的一种距离计算方式，源自欧式空间中两点间的距离公式。平面空间内...
2021-01-19 16:04:17
2741
原创 终端安全-设备指纹篇
设备指纹是什么？作用是什么？特性是什么？有哪些相关技术呢？好，带着这些问题，我们一一来解答。什么是设备指纹设备指纹或者设备ID，表现形式是一串符号，映射现实中的一台设备，如果这种映射关系是唯一的，那么就称为唯一设备ID：Unique Device Identifie.设备指纹的作用设备ID既然可以作为衡量某一设备的标准，那么在网络世界中就可以当作一个网络标识用来统计该标识对应的行为，同样有些网络应用的广告推送也需要凭借设备ID找出哪些唯一客户，再则有应用有收益的地方就有风险，所以又可以结
2021-01-15 15:28:52
1291
原创 终端安全篇-开篇
由于工作需要开始接触终端安全内容的知识，这里开始记录我的成长路径和学习历程～开篇上的内容主要介绍一下什么是终端安全，为什么要研究终端安全。带着问题我们开始这场探索旅程吧～～～什么是终端安全百科定义：终端安全（endpoint security）是一种网络防护方法，它需要企业网络上每个计算设备得到网络访问许可前遵从特定标准。终端可能包括PC、笔记本、智能手机、平板电脑（tablet）和专用设备，如条形码扫描器（bar code reader）或POS终端。为什么要研究终端安全因为工
2021-01-15 14:59:55
2699
1
原创 终端安全框架
引文：张鹤鸣，李庚欣，王云丽，等. 终端安全框架的研究与实现[J].通信技术,2020,57（11）:2828-2831.终端作为信息安全的薄弱地带，逐渐成为各类安全事件的目标和发生地。随着信息技术的发展，网络攻击手段进一步丰富，大量样本变种涌现，采用病毒库升级、定时查杀等传统方式，已经难以应对网络中大规模、无差别的攻击行为。针对未知威胁的检测能力和响应能力，是对终端安全提出的新的要求。通过对传统防火墙、入侵检测技术进行研究，基于安全联动思想提出了一套终端框架安全，并在Linux平台下给出具体的设计方案
2021-01-15 14:57:59
680
原创 时间序列模型第一篇ARIMA
时间序列时间序列数据时间序列是按时间顺序排列的、随时间变化且相互关联的数据序列。构成要素时间序列可以分为长期趋势（trend）、季节变动（seasonal）、循环变动（cycling）和随机波动（irregular）四个部分。长期趋势（ T ）现象在较长时期内受某种根本性因素作用而形成的总的变动趋势季节变动（ S ）现象在一年内随着季节的变化而发生的有规律的周期性变动循环变动（ C ）现象以若干年为周期所呈现出的波浪起伏形态的有规律的变动不规则变动（I ）是一种无规律可循的变动，包括严
2020-12-12 20:45:29
7338
2
原创 树家族算法梳理
树家族第一篇树家谱决策树决策树模型可以看做是if-else指令集合，通过对特征空间的划分来完成分类或者回归任务。如上图，是树模型的经典案例。根据天气、温度和风强度决策是否打网球。其过程就像是做了一系列的”if-else"判断。即基于数据，让算法学习这些’if-else‘规则。树模型家族简史单棵树单棵树三大知名算法：ID3、C4.5、CART1975年，由J.R.Quinlan提出ID3算法，这是首个知名的决策树算法。相对于耗时的人工规则，ID3用极其简单优美的方式从数据中学习出这些【if
2020-12-12 18:39:22
419
转载 最近三年四大顶会深度推荐系统上的18篇论文
导读：本文是“深度推荐系统”专栏的第十篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文主要根据RecSys 2019中论文《Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches》总结的最近三年四大顶会深度推荐系统上的18个最新算法。欢迎转载，转载请注明出处以及链接，更多关于深度推荐系统优质内容请关注如下频道。知乎专栏：深度
2020-12-04 19:32:17
1093
转载 deepFM模型理论和实战
推荐系统遇上深度学习系列：推荐系统遇上深度学习(一)--FM模型理论和实践：https://www.jianshu.com/p/152ae633fb00推荐系统遇上深度学习(二)--FFM模型理论和实践:https://www.jianshu.com/p/781cde3d5f3d1、背景特征组合的挑战对于一个基于CTR预估的推荐系统，最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中，低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。之前介绍的因子分解机(Fact
2020-12-04 17:09:14
387
转载 Wide and deep 模型【一】
一、论文概述Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型，并应用到了 Google Play 的应用推荐中 [1]。wide and deep 模型的核心思想是结合线性模型的记忆能力（memorization）和 DNN 模型的泛化能力（generalization），在训练过程中同时优化 2 个模型的参数，从而达到整体模型的预测能力最优。结合我们的产品应用场景同 Google Play 的推荐场景存在较多的类似之处，在经过调研
2020-12-03 16:19:18
1115
原创 tensorflow分类损失函数梳理
tf.nn.sparse_softmax_cross_entropy_with_logitstf.nn.sparse_softmax_cross_entropy_with_logits(logits, # shape [batch_size, num_classes]labels, # shape [batch_size] name=None)计算logits 和 labels 之间的稀疏softmax 交叉熵度量在离散分类任务中的错误率1）labels的条件是互斥的，也就是说，一个样本只
2020-11-27 16:59:24
566
1
原创 TensorFlow 常用函数汇总
本文介绍了tensorflow的常用函数，源自网上整理。 TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作.并行计算能让代价大的算法计算加速执行，TensorFlow也在实现上对复杂操作进行了有效的改进。大部分核相关的操作都是设备相关的实现，比如GPU。 ...
2020-11-27 15:29:11
395
原创 tensorflow命令行参数tf.app.flags
tf.app.flags.FLAGS 的作用tensorflow 中定义了 tf.app.flags.FLAGS ，用于接受从终端传入的命令行参数。tf.app.flags.FLAGS 类型tf中每个合法类型都有对应的 “DEFINE_xxx”函数。常用：参数说明“DEFINE_xxx”函数带3个参数，分别是变量名称，默认值；用法tf.app.flags.DEFINE_string('ckpt_path', 'model/model.ckpt-100000', '''Chec
2020-11-27 15:18:47
310
转载 python基础—python3中的defaultdict()
1.collections.defaultdict 类from collections import defaultdict2.collections.defaultdict 类与工厂函数dict比较：(1) 众所周知，在Python中如果访问dict字典中不存在的键，会引发KeyError异常。但是有时候，字典中的每个键都存在默认值是非常方便的。defaultdict可以避免KeyError异常。1 # 1-dict() 2 strings = ('puppy', 'kitten', 'pup
2020-11-15 16:12:37
810
原创 Bar Chart Race」动态可视化
「Bar Chart Race」可以实现动态可视化的python包。安装后可以快速实现动态图的制作，几行代码就搞定！安装提示：使用pip install是0.1版本的，建议安装0.2，可以在github下载安装最新的。展示【还是使用我上次爬的冠状病毒数据：嫌爬数据麻烦可以自行到github上面下载，地址：https://github.com/CSSEGISandData/COVID-19 】下面一起来看看动态图的制作吧：...
2020-11-13 21:25:52
3369
原创 tensorflow.keras和keras的比较
tf.keras 与 keras 绝对兼容，但请注意：tf.keras 与 keras 版本相同时，才绝对兼容。可以通过 tf.keras.version.来查看 tf.keras 的版本。tensorflow和keras的兼容版本信息查看地址：Environments保存模型参数时，tf.keras 默认保存成 checkpoint 格式。可以通过设置 save_format=‘h5’ 来保存成 HDF5 格式。tf.keras是 Keras API 在 TensorFlow 里
2020-11-12 22:28:53
1521
原创 linux基础操作手册
Linux 终端命令格式目标了解终端命令格式知道如何查阅终端命令帮助信息01. 终端命令格式command [-options] [parameter]说明：command：命令名，相应功能的英文单词或单词的缩写[-options]：选项，可用来对命令进行控制，也可以省略parameter：传给命令的参数，可以是 零个、一个 或者 多个[] 代表可选02. 查阅命令帮助信息（知道）提示现阶段只需要 知道 通过以下两种方式可以查询命令的帮助信息先学习常用命令及常用
2020-10-22 09:27:31
1943
翻译 深度可分离卷积
参考：https://www.yanxishe.com/TextTranslation/1639可分离卷积的基本介绍 任何看过MobileNet架构的人都会遇到可分离卷积（separable convolutions）这个概念。但什么是“可分离卷积”，它与标准的卷积又有什么区别？ 可分离卷积主要有两种类型：空间可分离卷积（spatial separable c...
2020-01-21 15:11:35
1938
原创 循环神经网络RNN【小记一】
什么是RNN 循环神经网络（Recurrent Neural Networks, RNN）已经被成功的应用于音乐生成、对话生成、图像生成、语音合成和分子设计。不同于传统的前向反馈神经网络（Feedforward Neural Networks, FNNS）,RNNS引入了定向循环，可以处理输入之间前后关联的问题。定向循环示图如下： ...
2020-01-20 10:09:05
902
原创 谈谈深度学习中的模型集成
前文已经给出了三种可提升模型性能的方法论：残差连接、正则化和深度可分离卷积。本文提出另一种强大的技术是模型集成（model ensembling）。 集成是指将一些列不同模型的预测结果汇集到一起，从而得到更好的预测结果。 集成依赖于这样的假设，即对于独立训练的不同良好模型，他们表现良好的可能是因为不同的原因：每个模型都从略有不同的角度观察数据来做出预测...
2020-01-17 15:03:36
2499
原创 深度学习中的超参数优化
构建深度学习模型时，你必须做出许多看似随意的决定：应该堆叠多少层？每层包含多少个单元或过滤器？激活函数应该使用relu还是其他函数？在某一层之后是否应该使用BatchNormalization？应该使用多大的dropout比率？还有很多，这些在架构层面的参数叫做超参数（hyperparameter），以便将其与模型参数区分开来，后者通过反向传播进行训练。 在实践中，经验丰...
2020-01-17 10:54:26
1051
原创 让深度学习模型的性能发挥到极致的方法
深度学习的表示瓶颈 在Sequential模型中，每个连续的表示层都构建于前一层之上，这意味着它只能访问前一层激活中包含的信息。如果某一层太小（比如特征维度太低），那么模型将会受限于该层激活中能够塞入多少信息。 你可以通过类比信号处理来理解这个概念：假设你有一条包含一些列操作的音频处理流水线，每个操作的输入都是前一个操作的输出，如果某个操作将信号裁剪到低频范...
2020-01-16 17:23:19
545
转载 resnet中的残差连接
本文转自微信公众号“言有三”：【模型解读】resnet中的残差连接，你确定真的看懂了？一、残差连接想必做深度学习的都知道skip connect，也就是残差连接，那什么是skipconnect呢？如下图上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。...
2020-01-16 11:48:32
1040
转载 详解残差网络
在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题计算资源的消耗 模型容易过拟合 梯度消失/梯度爆炸问题的产生问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；问题2的过拟合通过采集海量数据，并配合Dropout正则化等方法也可以有效避免；问题...
2020-01-15 15:54:20
1945
转载 卷积神经网络中的1x1卷积核的作用
前言在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。1. 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（...
2020-01-15 14:59:28
1858
原创 卷积神经网络CNN在序列处理中的应用
众所周知，CNN在机器视觉问题上表现出色，因为它能够进行卷积运算，从局部输入图块中提取特征，并能够将表示模块化，同时可以高效利用数据。 这些性质让卷积神经网络在计算机视觉领域表现优异，同样也让他对序列处理特别有效。时间可以被看做一个空间维度，就像二维图像的高度或宽度。 对于某些序列处理问题，这种一维卷积神经网络的效果可以媲美RNN，而且计算代价通常要...
2020-01-13 17:52:50
5459
1
《The elements of statistical learning》第二版电子书下载
2017-06-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人