- 博客(390)
- 资源 (31)
- 收藏
- 关注
RSS订阅转载 蓄水池算法
既然说到采样问题，最重要的就是做到公平，也就是保证每个元素被采样到的概率是相同的。3、然后从第 k+1 个元素开始，以 k/n 的概率来决定该元素最后是否被留在数组中（每进来一个新的元素，数组中的每个旧元素被替换的概率是相同的）。当走到第 k+1 步时，被第 k+1 个数据替换的概率 = 第k+1个元素被选中的概率 * 第i个数 被选中替换的概率，即为。依次类推，在不被第 k + 1 个元素替换的前提下，不被第k+2 个数据替换的条件概率为。1、假设数据序列的规模为 n，需要采样的数量的为 k。
2024-01-09 10:15:36
164
1
转载 深入理解Java8 Lambda表达式
过滤是Java开发者在大规模集合上的一个常用操作，而现在使用lambda表达式和流API过滤大规模数据集合是惊人的简单。Lambda表达式所表示的匿名函数的内容应该是很简单的，如果复杂的话，干脆就去重新定义一个函数了。该接口除了test方法是抽象方法, 其余都是default方法, 该接口可接受一个 lambda表达式, 其实就是实现了test接口的一个匿名类。就是将Lambda表达式作为参数传递给其他函数，Lambda表达式作为一种更紧凑的代码风格，使Java的语言表达能力能到提升。
2023-10-26 16:08:53
233
转载 深度学习中，卷积运算为何能对图像矩阵进行升维降维？
最近有小伙伴表示不理解1*1卷积为何能对输入矩阵进行升维降维，所以我这里专门来讲一下。当然不止1*1卷积，其实所有不同kernel_size的卷积都能实现降维和升维。现在很多深度学习的第三方库，比如Pytorch、tensorflow帮我们完成了很多基础运算，但作为AI研究者，还是应该知道卷积具体在做什么。在这里，我默认读者知道数学上的卷积运算和互相关运算(cross-correlation)，深度学习中，每一个卷积核实际上进行的是数学上的互相关运算。
2023-08-15 14:56:44
1244
转载 批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)
Batch 的选择，首先决定的是下降的方向。随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。（2）随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。
2023-08-14 14:40:39
3312
转载 本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama
通过LangChain和Streamlit我们可以方便的整合任何的LLM模型，并且通过GGML我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说使非常有帮助的。如果你对本文感兴趣，这里是本文的全部源代码，可以直接下载使用：作者： Afaque Umer。
2023-08-03 10:00:21
654
转载 揭秘大模型背后的机理，清华49页长文全方位分析参数高效微调方案
机器之心专栏本文中，包括刘知远、唐杰、孙茂松等在内来自清华大学的研究者对大模型的参数高效微调进行了全方位的理论和实验分析。预训练语言模型 (PLM) 已经毫无疑问地成为各种 NLP 任务的基础架构，而且在 PLM 的发展中，呈现出了一个似乎不可逆的趋势：即模型的规模越来越大。更大的模型不仅会在已知任务上取得更好的效果，更展现出了完成更复杂的未知任务的潜力。
2023-08-01 10:29:24
297
转载 不会数学统计没关系——5分钟教你轻松掌握箱线图
箱线图也称箱须图、箱形图、盒图，用于反映一组或多组连续型定量数据分布的中心位置和散布范围。箱形图包含数学统计量，不仅能够分析不同类别数据各层次水平差异，还能揭示数据间离散程度、异常值、分布差异等等。箱线图（Box plot）也称箱须图（Box-whisker Plot）、箱线图、盒图，，因形状如箱子而得名。1977年，美国著名数学家John W. Tukey首先在他的著作《Exploratory Data Analysis》中介绍了箱形图。
2023-06-08 10:13:45
2921
转载 结合日常生活的例子，了解什么是卡方检验
卡方检验就是检验两个变量之间有没有关系。卡方检验可以检验男性或者女性对线上买生鲜食品有没有区别；不同城市级别的消费者对买SUV车有没有什么区别；如果有显著区别的话，我们会考虑把这些变量放到模型或者分析里去。
2023-06-05 16:09:38
183
转载 用可视化思维解读统计自由度
但是你只有7双鞋，所以，在礼拜一的时候，你可以在7双鞋子里随便挑一双穿，到了礼拜二，你可以在剩下的6双里面挑一双穿，到了礼拜六，只剩下2双给你挑了，过完礼拜六，只剩下一双鞋了，你只能穿这双，因为你没有其他的鞋子可以挑了。首先，你先不要想统计的知识，我们讲一个平时生活里的例子，比如你是一个非常喜欢鞋子的人，你每个礼拜每一天都想穿上不一样的鞋子，比如周一穿高跟鞋，周二穿运动鞋，等等。总结以上的例子，如果我们有r行，c列的表格，我们可以自由填写的有(r－1)(c－1)个数，这就是卡方检验的自由度计算公式。
2023-06-05 16:05:43
176
转载 逻辑回归中常用的概念： WOE、IV详解
xn中，那么，对于其中一个变量xi来说，其蕴含的信息越多，那么它对于判断A属于0还是1的贡献就越大，xi的信息价值就越大，xi的IV就越大，它就越应该进入到入模变量列表中。挑选入模变量过程比较复杂，需要考虑的因素很多，比如：变量的预测能力，变量之间的相关性，变量的简单性（容易生成和使用），变量的强壮性（不容易被绕过），变量在业务上的可解释性（被挑战时可以解释的通）等等。WOE越大，这种差异越大，这个分组里的样本坏样本可能性就越大，WOE越小，差异越小，这个分组里的坏样本可能性就越小。
2023-06-05 10:24:26
5580
转载 终于有人把机器学习中的评价指标讲清楚了
在这个测试数据集中，计算的召回率R为100%，非常好，也就是说，在这个数据集里总共有10个目标，已全部找到（召回）。因此，对于每一个阈值可得到对应的一组（R，P），例如，上述的两个阈值可得出两组（R，P），分别为：（0.86，0.75）和（1，0.7）。如果取多个不同的阈值，就可以得到多组（R，P）。这其实也很好理解，前面我们说了，精度即查准率，召回率即查全率，要想查得精准（一查一个准），即模型给出的目标都正确，那就得提高阈值门槛，阈值一提高，符合要求的目标就会减少，那必然会导致漏网之鱼增多，召回率降低。
2023-05-10 15:42:30
436
转载 风控特征—时间滑窗统计特征体系
俗话说，路遥知马力，日久见人心。在风控中也是如此，我们常从时间维度提取借款人在不同时间点的特征，以此来判断借款人的风险。在实践中，这类特征通常会占到80%以上。由于是通过时间切片和聚合统计函数来构造，因此一般被称为时间滑窗统计特征。
2023-03-29 15:53:36
392
原创 PostgreSQL操作-psql命令详解
psql命令的格式是用反斜线后面直接跟上一个命令动词，然后是一些参数。参数与命令动词和其他参数之间用任意多个空白字符分隔开
2022-08-26 14:55:43
5322
原创 eclipse启动报错
eclipse启动报错， org.eclipse.e4.core.di.InjectionException: java.lang.NoClassDefFoundError: javax/annotation/PostConstruct
2022-08-15 16:14:55
2472
原创 2022年最新全国各省五级行政区划代码（省/市/区县/乡镇/村）
2、此次发布内容为2021年全国统计用区划代码（12位）和城乡分类代码（3位），地域范围为国家统计局开展统计调查的全国31个省（自治区、直辖市），未包括我国台湾省、香港特别行政区和澳门特别行政区。1、全国统计用区划代码和城乡划分代码更新维护的标准时点为2021年10月31日。下面将31个省的数据分开。...
2022-08-14 21:35:08
29180
8
转载 看完您如果还不明白 Kerberos 原理，算我输！
系统环境操作系统：CentOS 6 或 CentOS 7 JDK 版本：1.8.0_151 Ambari 版本：2.6.1 HDP 版本：2.6.4.0扩展链接《Kerberos原理--经典对话》 《基于ambari的Kerberos安装配置》 《Windows本地安装配置Kerberos客户端》 《Kerberos实战》 《基于Ambari禁用Kerberos》一、Kerberos概述强大的身份验证和建立用户身份是 Hadoop 安全访问的基础。用户需要能够可靠地 “.
2021-06-08 14:13:27
444
原创 mysql bigint类型字段返回给前端精度丢失
问题：前端页面通过sql语句查询mysql数据库， 表中有个字段为bigint类型， 库里存储的值为609324786968100864，返回的却是609324786968100900导致拿着这个值609324786968100900去访问其他表的关联数据， 总是返回空。问题排查：1、确认数据库中该条记录的对应值确实为6093247869681008642、排查后台查询代码，没有问题3、浏览器f12， 查看接口返回值， 发现返回的对应值为6093247869681008644、.
2020-08-06 09:52:52
2533
1
原创 Django1.11升级到Django2.2.14
1、django自带的认证系统报错：修改：if user.is_authenticated:2、urlinclude模块报错：1) url(r'^admin/', include(admin.site.urls))'provide the namespace argument to include() instead.' % len(arg)django.core.exceptions.ImproperlyConfigured: Passing a 3-tuple..
2020-07-17 15:17:38
904
转载 不会搭建大数据平台，我被老板优化了
【51CTO.com原创稿件】随着业务的飞速发展，信息化作为业务的支撑，各个企业都建立了自己的信息化系统。图片来自 Pexels在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。此时，大数据平台的搭建就是企业面临的问题，搭建大数据平台有哪些思路?怎么样的搭建路径可以让企业少走弯路?什么样的架构是业内标准?通过什么手段来分析和展示已有的数据?或许这些问题会萦绕在您的心头，那么今天就一
2020-05-29 10:22:01
800
转载 分布式系统之CAP理论
任老师第一节主要讲了分布式系统实现时候面临的八个问题，布置的作业就是这个，查询CAP理论。笔者初次接触分布式，所以本文主要是一个汇总。一.CAP起源 CAP原本是一个猜想，2000年PODC大会的时候大牛Brewer提出的，他认为在设计一个大规模可扩放的网络服务时候会遇到三个特性：一致性（consistency）、可用性（Availability）、分区容错（partition-t...
2020-03-04 10:01:05
1738
转载 Python 3.x可能是史上最详解的【导入（import）】
一旦使用多层文件架构就很容易遇上import的坑！哈哈。一、理解一些基本概念1、模块、包模块 module：一般情况下，是一个以.py为后缀的文件。其他可作为module的文件类型还有”.pyo”、”.pyc”、”.pyd”、”.so”、”.dll”，但Python初学者几乎用不到。module 可看作一个工具类，可共用或者隐藏代码细节，将相关代码放置在一个module以便让代码更好用、...
2019-11-08 10:39:05
1159
转载 pyinstaller+python3.6搭建windows客户端的服务（一）
背景 本人遇到一个项目，需求是实现一个客户端界面，该客户端可读取摄像头、读卡器这些本地设备，同时也需要访问云服务器的公共服务，安装程序包尽量小，且安装简单。 针对这种需求，当然会有很多种解决方法，比如使用c#、VB、Java等开发语言，是可以实现的，但选择使用Python的原因如下：本项目里成员对上述语言不喜欢或使用不太熟，而对Python相对比较熟； 上述语言在客户安装时可能会比...
2019-04-17 14:39:19
1366
原创 redis 写入带宽报警问题解决
项目中一直使用celery来做异步任务的执行， broker使用的是redis。 最近每天都会有几次redis（带宽10M）写入带宽超过80%报警， 报警的时候查看redis log 没有发现大量数据写入。经过仔细查看发现大量下面的消息：这条命令应该是celery在 subscribe result（猜测， 具体逻辑不清楚）。 celery result 里存储了40w+的数据， ...
2019-04-04 16:40:11
2427
转载 Linux内核OOM机制的详细分析
Linux内核根据应用程序的要求分配内存，通常来说应用程序分配了内存但是并没有实际全部使用，为了提高性能，这部分没用的内存可以留作它用，这部分内存是属于每个进程的，内核直接回收利用的话比较麻烦，所以内核采用一种过度分配内存（over-commit memory）的办法来间接利用这部分“空闲”的内存，提高整体内存的使用效率。一般来说这样做没有问题，但当大多数应用程序都消耗完自己的内存的时候麻烦就来了...
2018-12-21 19:26:05
1226
转载 从 python2.7 迁移到 python3.6
python2.7 会在 2020 年停止维护, 很多第三方包也在去掉对 python2.7 的支持, 最近终于完成了内部代码向 python3 的迁移, 整个过程挺繁琐的, 记录一下.总共需要迁移的代码大概有 50w 行(cloc 计算, 去注释空行), 包括业务代码 + ETL + data analysis... 前后花了3个月.做之前确保已读过官方的 migration guide...
2018-11-20 16:13:58
2678
原创 服务器升级带来的问题
系统环境： CentOS release 6.8 8核16G使用的服务：nginx+uwsgi+celery+redis+mysql+mongo由于业务的需要，升级到16核32G， 升级后启动服务报错：can't start new thread。开始一直以为是程序的问题， 经过各种搜索，修改，问题依旧。 后来发现原来是系统设置的问题， 我们是在非root用户下启动的服务。root用...
2018-11-09 22:32:28
1040
转载 Linux中Cache内存占用过高解决办法
在Linux系统中，我们经常用free命令来查看系统内存的使用状态。在一个RHEL6的系统上，free命令的显示内容大概是这样一个状态：这里的默认显示单位是kb，我的服务器是128G内存，所以数字显得比较大。这个命令几乎是每一个使用过Linux的人必会的命令，但越是这样的命令，似乎真正明白的人越少（我是说比例越少）。一般情况下，对此命令输出的理解可以分这几个层次： 不了解。这样的人的...
2018-09-09 22:06:55
10228
1
原创 django migrate报错
django migrate命令默认会去settings文件中找default数据库的配置。 在migrate的帮助中可以看到。今天换了新的数据库配置， 将原来的default 修改成old_default（其实old_default库已经弃用， 根本就连接不上了，只是想留个备份）。换完配置后重新做django migrate。 竟然报错， 发现还是去连接old_default库了。 刚开...
2018-09-05 12:29:24
676
转载 防雪崩利器：熔断器 Hystrix 的原理与使用
前言分布式系统中经常会出现某个基础服务不可用造成整个系统不可用的情况, 这种现象被称为服务雪崩效应. 为了应对服务雪崩, 一种常见的做法是手动服务降级. 而Hystrix的出现,给我们提供了另一种选择.服务雪崩效应的定义服务雪崩效应是一种因 服务提供者 的不可用导致 服务调用者 的不可用,并将不可用 逐渐放大 的过程.如果所示:上图中, A为服务提供者, B
2018-01-03 17:51:55
484
原创 django发送邮件
django封装了python自带的发送邮件的功能， 使其更加简单易用。1、settings中进行配置EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'EMAIL_USE_TLS = TrueEMAIL_HOST = 'smtp.163.com'EMAIL_PORT = 465EMAIL_HOST
2017-11-30 18:35:45
887
原创 gitlab发邮件收不到
gitlab安装在ubuntu系统上（腾讯云上）， 在/etc/gitlab/gitlab.rb配置发送邮件的邮箱。gitlab_rails['smtp_address'] = "smtp.163.com"gitlab_rails['smtp_port'] = 25gitlab_rails['smtp_tls'] = false其他配置略。之前是可以发送邮件的。 ...
2017-11-30 16:03:27
15929
转载 使用 Django 1.6 实现事务交易管理
如果你花费了很多的时间去进行Django数据库事务处理的话，你将会了解到这是让人晕头转向的。在过去，只是提供了简单的基础文档，要想清楚知道它是怎么使用的，还必须要通过创建和执行Django的事务处理。这里有众多的Django事务处理的名词，例如：commit_on_success , commit_manually , commit_unless_maneged，rollback_
2017-08-21 11:02:08
732
原创 Django+mysql支持emoji表情
mysql开始使用的是utf-8编码，使用微信进行第三方登录后，同步微信昵称是报错：OperationalError: (1366, "Incorrect string value: '\\xF0\\x9F\\x90\\xA0' for column 'nickname' at row 1")经过排查发现该微信号的昵称里包含emoji表情，emoji表情对应的编码是4个字节， 而utf
2017-08-09 17:13:26
2049
2022年最新新疆维吾尔自治区五级行政区划代码
2022-08-05
2022年最新宁夏回族自治区五级行政区划代码
2022-08-05
2022年最新青海省五级行政区划代码
2022-08-05
2022年最新甘肃省五级行政区划代码
2022-08-05
2022年最新陕西省五级行政区划代码
2022-08-05
2022年最新西藏自治区五级行政区划代码
2022-08-05
2022年最新云南省五级行政区划代码
2022-08-05
2022年最新贵州省五级行政区划代码
2022-08-05
2022年最新四川省五级行政区划代码
2022-08-05
2022年最新重庆市五级行政区划代码
2022-08-05
2022年最新海南省五级行政区划代码
2022-08-05
2022年最新广西壮族自治区五级行政区划代码
2022-08-05
2022年最新广东省五级行政区划代码
2022-08-05
2022年最新湖南省五级行政区划代码
2022-08-05
2022年最新湖北省五级行政区划代码
2022-08-05
2022年最新河南省五级行政区划代码
2022-08-04
2022年最新山东省五级行政区划代码
2022-08-04
2022年最新江西省五级行政区划代码
2022-08-04
2022年最新福建省五级行政区划代码
2022-08-04
2022年最新安徽省五级行政区划代码
2022-08-04
2022年最新浙江省五级行政区划代码
2022-08-04
2022年最新江苏省五级行政区划代码
2022-08-03
2022年最新上海市五级行政区划代码
2022-08-03
2022年最新黑龙江省五级行政区划代码
2022-08-03
2022年最新吉林省五级行政区划代码
2022-08-03
2022年最新辽宁省五级行政区划代码
2022-08-03
2022年最新内蒙古自治区五级行政区划代码
2022-08-02
2022年最新山西省五级行政区划代码
2022-08-02
2022年最新河北省五级行政区划代码
2022-08-02
2022年最新天津市五级行政区划代码
2022-08-02
2022年最新北京市五级行政区划代码
2022-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人