素质云笔记/Recorder...

1 J型增长和S型增长指数增长，J型曲线：指数增长，即增长不受抑制，呈爆炸式的。比如一个人可以传染三个人，三个人传染九个人，九个人传染27个人，不停的倍增。这就是J型增长，也叫指数型的增长。一些传染病初期可能呈现指数增长。但是实际的增长过程中，增长速率并不能一直维持不变，随着人数的不断增多，增长率会逐渐受到抑制。这就是S型增长。一般疾病的传播是S型增长的过程，因为疾病传播的过程中会受到一定的阻力。2 logistic增长函数当一个物种迁入到一个新生态系统中后，其数量会发生变化。假设该物种的起始

文章目录1 概念介绍1.1 概念介绍1.2 关联指标1.3 计算方式1.4 LTV的价值1.5 应用场景1.5.1 宏观方面的几个场景：1.5.2 一个细分的金融场景：1.5.3 预估成本回收期1.5.4 判定渠道质量1.5.5 支持产品运营1.5.6 UE计算2 不同LTV计算方式2.1 几种常见的计算方式2.1.1 LT*活跃ARPU2.1.2 依据交易预测2.1.3 历史LTV拟合预测2.2 常规LT*ARPUDAU的延申：广告收入类型产品计算2.3 APP类LTV运营流程3 关联问题3.1 多长时间

文章目录1 PuLP介绍1.1 理论、流程介绍1.2 主函数介绍1.2.1 LpProblem类1.2.2 LpVariable类1.2.3 lpSum(vector)1.3 一些函数写法优化1.3.1 赋值1.3.2 PuLP里面不可使用的案例一：优化投放广告渠道的资源案例二：如何分配水库供水量，公司才能获利最多案例三: 求解最普通的线性规划问题案例四:运输问题案例五：指派问题1 PuLP介绍1.1 理论、流程介绍线性规划是研究线性约束条件下线性目标函数的极值问题的数学理论和方法。Pytho.

文章目录1 BG / NBD概率模型介绍1 BG / NBD概率模型介绍数据运营36计(六)：BG/NBD概率模型预测用户生命周期LTV，Python实现BG/NBD模型又称为贝塔几何/负二项模型。他是基于Pareto/NBD模型假设设计的概率预测模型。BG/NBD模型是用于描述非契约客户关系情境下重复购买行为。即用户可以随时购买产品，无时间约束。该模型可利用用户历史交易数据(RFM)来预测未来每个用户的交易次数和流失率该模型的几个假设前提：（1）【交易假设】用户在活跃状态下，一个用户在

文章目录1 四种全局可解释的方法论1.1 过滤法1.1.1 方差过滤方差过滤1.1.2 相关性过滤1.2 嵌入法1.2.1 SelectFromModel - 筛选特征1.2.2 PermutationImportance - 排列重要性1.3 包装法1.4 几种方法对比1.5 额外的交叉特征筛选模型：AutoFIS2 SHAP(SHapley Additive exPlanation)2.1 SHAP 与 Permutation importance 的差异2.2 特征归因的一致性2.2.1 树模型

之前两篇有专门介绍shap值，可以说非常好用，机器学习模型可解释性进行到底 —— 从SHAP值到预测概率（二）机器学习模型可解释性进行到底 —— SHAP值理论（一）文章目录1 部分依赖图（Partial Dependence Plot)1.1 理论解读1.2 如何根据PDP 进行特征筛选2 个体条件期望图（Individual Conditional Expectation Plot)3 sklearn 0.24+实现：PDP&ICE图3.1 部分依赖图（Partial Dependen

第一篇主要把SHAP值的各类图表操作方式进行展示：机器学习模型可解释性进行到底 —— SHAP值理论（一）接下来主要围绕一篇文章的内容展开【黑盒模型实际上比逻辑回归更具可解释性】源代码部分：smazzanti/tds_black_box_models_more_explainable自己的测试代码：mattzheng/ml_interpretability非常有意思的一个案例，里面把SHAP值的解释性又增强了一步。SHAP值对于人类来说是不可理解的(即使对于数据科学家来说也是如此)，概率的概念要

最近在系统性的学习AUTOML一些细节，本篇单纯从实现与解读的角度入手，因为最近SHAP版本与之前的调用方式有蛮多差异，就从新版本出发，进行解读。不会过多解读SHAP值理论部分，相关理论可参考：关于SHAP值加速可参考以下几位大佬的文章：文章目录1 介绍2 可解释图2.1 单样本特征影响图1 介绍文章可解释性机器学习_Feature Importance、Permutation Importance、SHAP来看一下SHAP模型，是比较全能的模型可解释性的方法，既可作用于之前的全局解释，.

数据中台类产品必须用户画像，目前大多数用户画像都是结构化数据，其实还有非常多有意思的兴趣标签，可以从文本、图片、视频中获取，接下来这类兴趣标签也会越来越多的被计算与获得。本系列，也从此出发...

随便记录一下datetime模块的一些使用：文章目录获取当前时间字符到时间格式修改格式获取当前时间import datetime #引入datetime模块now_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')now_time结果为：2021-03-29 15:55:25.779830字符到时间格式import datetime #引入datetime模块str_to_datetime = lam

转载文章：Python实现主成分分析（PCA）降维：原理及实例分析简介降维是由一些问题带来的：可以缓解由维度诅咒（高维）带来的问题；可以用来压缩数据，将损失数据最小化；可以将高维数据降到低维进行可视化。主成分分析（Principal components analysis，简称PCA）是最重要的降维方法之一。一般我们提到降- 维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。PCA的scikit-learn实现scikit-learn集成了PCA方法，调用起来也更加方便

参考：CTR预估中的贝叶斯平滑方法（一）原理及实验介绍、贝叶斯平滑文章目录竞价模式：遇到的困难：假设数据的连续性数据层级结构的贝叶斯平滑方法代码实现贝叶斯平滑方法参数估计和代码实现竞价模式：对于在线广告，主要有以下几种竞价模式：1）pay-per-impression（按展示付费）：广告商按照广告被展示的次数付费，这是一种最普遍的竞价模型。缺点在于没有考虑投放广告的效果。2）pay-per-action（按行为付费）：只有在广告产生了销售或者类似的一些转化时，广告商才付费。缺点在于追踪用户的交

来源：Python技巧 | 一个任务超时退出的装饰器，用起来真方便~本篇装饰器的写法，倒是蛮值得学习的，贴一下。文章目录1 任务超时退出2 日志记录3 缓存4 约束某个函数的可执行次数1 任务超时退出我们日常在使用的各种网络请求库时都带有timeout参数，例如request库。这个参数可以使请求超时就不再继续了，直接抛出超时错误，避免等太久。如果我们自己开发的方法也希望增加这个功能，该如何做呢？方法很多，但最简单直接的是使用并发库futures，为了使用方便，我将其封装成了一个装饰器，代码

文章目录1 mlflow Dockerfile2 训练模型3 对比模型4 打包模型5 模型部署6 模型inference调用mlflow的安装与使用，可以直接：pip install mlflow1 mlflow Dockerfile本来按照这个MLFlow教程（MLflow系列1：MLflow入门教程（Python）），找台机器跑起来没啥问题；不过，看到项目的github有Dockerfile那必须上啊！然后就被各类报错虐了一下午。。首先，来看一下全环境的官方mlflow/Dockerf

机器学习开发者想要打造一款 App 有多难？事实上，你只需要会 Python 代码就可以了，剩下的工作都可以交给一个工具。一些介绍可参考：文章公众号：机器之心从Python代码到APP，你...

文章目录1 DataOps、MLOps 和 AIOps，你要的是哪个Ops？2 MLFlow2.1 MLFlow优势2.2 MLFlow劣势1 DataOps、MLOps 和 AIOps，你要的是哪个Ops？之前的很多研究其实跟工程化是比较脱节的，模型在小环境中工作得很好，并不意味着它在任何地方都可以工作得很好。各类开源项目其实很大程度上满足了我这样的调包工程师的需求，那么工程化就非常有必要了。之前《DataOps、MLOps 和 AIOps，你要的是哪个Ops？》文章提到：DataOps、MLO

上一篇【智能营销增益（Uplift Modeling）模型——模型介绍（一）】仔细介绍了理论部分，本篇主要是算法库pylift的介绍。在【营销增益模型实战-Uplift Model原理及应用】一文中提到：目前的算法包虽然可以直接使用，但速度慢，定制性差由于Uplift模型还未被广泛使用，业界对于该技术的定义混乱，每个领域甚至每个公司都会有自己的魔改版本，甚至连该方法的名称都没有得到统一，举几个常见的例子：Estimating heterogeneous treatment effects (E

文章目录1 Uplift Modeling与reponse model模型的差异1.1 增益模型与响应模型的差异1.2 增益模型与响应模型的混淆1.3 业务疑问与需求1.3.1 多维度建模1.3.2 一些使用场景1.3.3 实验室组和对照组 数据不均匀2 uplift model的模型2.1 差分响应模型（Two-Model Approach）2.2 差分响应模型升级版（One-Model Approach）2.3 Modeling Uplift Directly2.4 Class Transformati

文章目录1 案例介绍2 依赖安装3 页面使用4 源码细节解析4.1 直接读入markdown文件4.2 加载文件与图片4.3 opencv + yolov3 检测函数系列参考：python︱写markdown一样写网页，代码快速生成web工具：streamlit介绍（一）python︱写markdown一样写网页，代码快速生成web工具：streamlit 重要组件介绍（二）python︱写markdown一样写网页，代码快速生成web工具：streamlit 展示组件（三）python︱写ma

本案例来看一个专门做数据展示的案例1，uber数据集的展示。1 数据探索性app - Create a data explorer app在本教程中，您将使用Streamlit的核心功能来创建一个交互式应用程序;探索纽约市打车软件优步的公共接送数据集。完成后，您将知道如何获取和缓存数据、绘制图表、在地图上绘制信息，并使用交互式小部件(如滑块)来过滤结果。2 加载数据现在你有了一款应用程序，接下来你需要做的就是获取纽约市取车和落车的优步数据集。streamlit好处就在于cache只加载最初一次

整个文档可参考:https://docs.streamlit.io/en/stable/caching.html当您用@st标记一个函数时。缓存装饰器，它告诉Streamlit无论何时调用函数都需要检查以下几件事:The input parameters that you called the function withThe value of any external variable used in the functionThe body of the functionThe body o

文章目录1 `streamlit.beta_container()`2 分列展示3 按照比例分列展示4 折叠/展开1 streamlit.beta_container()通过with st.beta_container():，可以Book一个组件模块将一个不可见的容器插入到你的应用程序中，可以用来保存多个元素。# with写法with st.beta_container(): st.write("This is inside the container") # You can ca

python︱写markdown一样写网页，代码快速生成web工具：streamlit（一）python︱写markdown一样写网页，代码快速生成web工具：streamlit 重要组件介绍（二）上篇主要是steamlit的介绍以及streamlit的一些初始化，这篇是一些组件的介绍，当然风格是直接上代码。参考代码：mattzheng/display1 文本显示 display-text1.0 各类文本展示""" # 1 文本显示 display-text - 常规文本 - `st

python︱写markdown一样写网页，代码快速生成web工具：streamlit（一）上篇主要是steamlit的介绍以及streamlit的一些初始化，这篇是一些组件的介绍，当然风格是直接上代码。参考代码：mattzheng/cookbook_elements文章目录1 空白占位符placeholder: st.empty()1 空白占位符placeholder: st.empty()import streamlit as stimport pandas as pdimport n

文章目录1 streamlit介绍2 安装streamlit2.1 install2.2 其他安装报错3 快速开始1 streamlit介绍Streamlit 网站：https://streamlit.io/GitHub地址：https://github.com/streamlit/streamlit/参考机器之心的：从Python代码到APP，你只需要一个小工具：GitHub已超3000星自行构建工具的流程：部署 Flask app，写 HTML、CSS 和 JavaScript，尝试对从

受本篇启发：Treelite：树模型部署加速工具（支持XGBoost、LightGBM和Sklearn）Coggle，公众号：Coggle数据科学Treelite：树模型部署加速工具（支...

deepAR已经上线Amazon SageMaker +GluonTS，有AWS的站台+ 本身的灵活性，实操可行性还是蛮高的。模型本身可以加入一些额外的属性信息，同时可以输出点预测 +...

本节简单回归一下时间序列任务的几种方向以及有哪些比较优秀的开源算法。1 时序预测时序预测从不同角度看有不同分类。从实现原理的角度，可以分为传统统计学、机器学习（又分非深度学习和深度学习）...

加载对应的库：$ pip install pyjwt文档地址在：https://pyjwt.readthedocs.io/en/stable/一个非常简单的例子：>>> import jwt>>> encoded_jwt = jwt.encode({"some": "payload"}, "secret", algorithm="HS256")>>> print(encoded_jwt)eyJ0eXAiOiJKV1QiLCJhbGciOi

文章目录1 初始化入口2 java可实现：SQLTask配合Tunnel实现大量数据导出3 pyODPS3.1 sql读入3.2 DataFrame3.2.1 dataframe读入3.2.2 分区3.3 to_pandas4 与mars融合安装：pip install pyodps1 初始化入口在使用PyODPS前，您需要用阿里云账号初始化一个MaxCompute的入口，执行命令如下。from odps import ODPSodps = ODPS('**your-access-id**

之前比较相关的文章：推荐系统中传统模型——LightGBM + LR融合python - 机器学习lightgbm相关实践1 深入FFM原理与实践来自美团技术团队的，深入FFM原理与实践FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR和CVR预估，并且取得了不错的效果。经过One-Hot编码之后，大部分

笔者最近再学习腾讯广告算法大赛，发现一些选择会用GBDT来进行“降维”与特征工程，有提分点，于是乎也来看看。之前的一篇跟LightGBM相关的文章：python - 机器学习lightgbm相关实践这里可以直接跑通的github：wangru8080/gbdt-lr1 GBDT + LR原理参考：GBDT+LR算法解析及Python实现1.1 CTR常见流程GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。点击率预估模型涉及的训练样本一般是上亿级别.

之前的一篇：python︱mysql数据库连接——pyodbc0 安装依赖pip3 install --pre pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple pip3 install --pre sqlalchemy -i https://pypi.tuna.tsinghua.edu.cn/simple1 连接方式1.1 pymysql.connect直接连import pymysql# 连接databaseuser = "xxx

开个头，有参考：python定时任务最强框架APScheduler详细教程安装：pip install apscheduler一个案例其中 BlockingScheduler是阻塞性的调度器，是最基本的调度器，下面调用 start方法就会阻塞当前进程，所以如果你的程序除了调度进程没有其他后台进程，那么是可以是否的，否则这个调度器会阻塞你程序的正常执行。接下来就是定义一个 my_clock函数，这个函数就是需要定时调度的任务代码。然后就是实例化一个 BlockingScheduler对象，并

百度最近推出了地址识别，不过python SDK没有更新，只能用请求的方式。不过，从效果来看，不能返回具体的经纬度，对后续的分析只是文本拆散 + 归类，解析省市区；可能还不如直接用地图API的地理编码，来的更直接代码地址：https://github.com/mattzheng/Baidu-AIP-Address其中，自己需要在百度后台拿到。APP_ID = 'xxxxxx'API_KEY = 'xxxxxx'SECRET_KEY = ''使用：ad = address_detect.

遇到的问题贴…持续追加…参考相关帖：推荐 | 微软SAR近邻协同过滤算法解析（一）推荐 | 微软SAR近邻协同过滤算法拆解（二）练习题︱ python 协同过滤ALS模型实现：商品推荐 + 用户人群放大1 问题一：模型预测之后Prediction一直为0模型预测之后Prediction一直为0，同时发现model.item_similarity对角阵只有1，如下：array([[1, 0, 0, ..., 0, 0, 0], [0, 1, 0, ..., 0, 0, 0],.

推荐 | 微软SAR近邻协同过滤算法解析（一）前面这篇介绍了整个SAR算法，算法本身比较容易理解。本篇主要对一下里面有趣的小函数。文章目录1 对角方阵求jaccard / lift2 矩阵取top-k函数3 sparse稀疏矩阵构造4 一些评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等4.1 Hit Ratio(HR)4.2 Mean Average Precision(MAP)1 对角方阵求jaccard / lift这个发生在CCC矩阵co-occurence mat

SAR是一种快速,可扩展的自适应算法,可根据用户交易历史记录提供个性化推荐.它通过理解项目之间的相似性来推动,并向用户具有现有亲和力的项目推荐类似项目.SAR is a fast scalable adaptive algorithm for personalized recommendations based on user transaction history and items description. The core idea behind SAR is to recommend it.

单机环境下，如果特征较为稀疏且矩阵较大，那么就会出现内存问题，如果不上分布式 + 不用Mars/Dask/CuPy等工具，那么稀疏矩阵就是一条比较容易实现的路。文章目录1 scipy.sparse1.1 SciPy 几种稀疏矩阵类型1.2 lil_matrix1.3 矩阵的通用属性1.4 稀疏矩阵存取2 pandas.sparse2.1 SparseArray2.2 新建SparseDataFrame2.3 格式转化2.4 稀疏矩阵的属性2.5 scipy.sparse与pandas.sparse3 s

参考：Python—实现sftp客户端（连接远程服务器）import paramiko transport = paramiko.Transport(("106.15.88.182", 10022)) # 获取Transport实例transport.connect(username="root", password="123456") # 建立连接 # 创建sftp对象，SFTPClient是定义怎么传输文件、怎么交互文件sftp = paramiko.SFTPClient.fr

离散型编码的Python库，里面封装了十几种（包括文中的所有方法）对于离散型特征的编码方法，接口接近于Sklearn通用接口，非常实用可以使用多种不同的编码技术把类别变量转换为数值型变量，并且符合sklearn模式的转换。官方github：https://github.com/scikit-learn-contrib/category_encoders官方文档：http://contrib.scikit-learn.org/category_encoders/#这个库的作者将类别编码分为两类,无

相关文章：R+python︱XGBoost极端梯度上升以及forecastxgb（预测）+xgboost（回归）双案例解读python︱sklearn一些小技巧的记录（训练集划分/pipelline/交叉验证等）GBDT一个藤上，进化的xgb以及lgb。比较好的几则练习代码：QLMX/data_mining_modelsAnfany/Machine-Learning-for-Beginner-by-Python3文章目录0 相关理论0.1 内存更小0.2 速度更快0.3 直接支持类别特征

如果有小伙伴使用微软的blob进行文件管理的话，可能会用到。文章目录一 centos安装1 安装.net core 1.1.1版本2 安装azcopy3 一些报错3.1 但是dotnet版本不够3.2 libunwind/libicu一直安装不上4 其他系统azcopy安装5 python操作blob二 azcopy使用1 使用 AzCopy 和 Blob 存储传输数据一 centos安装之前在centos参考的是：CentOS 7安装Azcopy1 安装.net core 1.1.1版本.n

之前的一个练习题：练习题︱豆瓣图书的推荐与搜索、简易版知识引擎构建（neo4j）提及了几种简单的推荐方式。但是在超大规模稀疏数据上，一般会采用一些规模化的模型，譬如spark-ALS就是其中一款。这边，笔者也是想调研一下这个模型的操作性，所有就先用单机版的测试一下；对应的spark.mlib有分布式的版本。练习代码可见：mattzheng/pyALS文章目录1 ALS算法 - Alternating Least Square - 交替最小二乘法1.1 理论介绍1.2 58同城的推荐场景实战2

这是一篇一本正经无聊的小研究项目。。互联网现在面临很多新网络文体，比如弹幕文体、小红书的种草文体、网名等，这些超短文本中本身字符特征就比较少，但是表情包占比却很多，这是重要信息呀。之前参加比赛，一般都是当作停用词直接删掉，在这些超短文本中可就不行了。文章目录1 emoji表情识别几种特殊符号：颜文字，emoji，特殊标号.其中，emoji,特殊符号都是可以分词分开的，但是颜文字字数比较多，分词的时候会占着比较多的内容且不太好分1 emoji表情识别github：https://gi

这是一篇一本正经无聊的小研究项目。。互联网现在面临很多新网络文体，比如弹幕文体、小红书的种草文体、网名等，这些超短文本中本身字符特征就比较少，但是表情包占比却很多，这是重要信息呀。之前参加比赛，一般都是当作停用词直接删掉，在这些超短文本中可就不行了。文章目录1 混用的几个库1.1 模块一：rouge1.2 模块二：jieba_fast1.3 关键词查询组件：flashtext2 颜文字检测与识别2.1 颜文字检测2.2 颜文字实体分词3 新颜文字发现3.1 新颜文字发现3.2 颜文字属性识别

这是之前的文章：docker︱在nvidia-docker中使用tensorflow-gpu/jupyter文章目录1 docker run的解读1.1 docker run1.2 几种进入容器的方式2 docker .sh形式启动2.1 常规报错2.2 常规写法步骤2.3 几个实践case3 docker打包成.rar一键部署3.1 docker 容器导出和导入(export / impo...

最近在测试一些通用模型+项目，包括：CLUE（tf+pytorch），bert4keras(keras)， Kashgari(keras+tf)等。其中如果要部署的话，就有tensorflow-serving和flask的选择了。这里刚好有一个非常好的实战例子，基于tensorflow 1.x的，比较全面。文章目录1 安装 TensorFlow Serving2 keras-H5格式转变...

RAPIDS cuGraph库是一组图形分析，用于处理GPU数据帧中的数据 - 请参阅cuDF。 cuGraph旨在提供类似NetworkX的API，这对数据科学家来说很熟悉，因此他们现在可以更轻松地构建GPU加速的工作流程官方文档：rapidsai/cugraphcuGraph API Reference支持的模型：文章目录1 安装与背景1.1 安装1.2 背景2 简单的demo3...

cuML是一套用于实现与其他RAPIDS项目共享兼容API的机器学习算法和数学原语函数。cuML使数据科学家、研究人员和软件工程师能够在GPU上运行传统的表格ML任务，而无需深入了解CUDA编程的细节。 在大多数情况下，cuML的Python API与来自scikit-learn的API相匹配。对于大型数据集，这些基于GPU的实现可以比其CPU等效完成10-50倍。 有关性能的详细信息，请参阅...

cuDF（https://github.com/rapidsai/cudf）是一个基于Python的GPU DataFrame库，用于处理数据，包括加载、连接、聚合和过滤数据。向GPU的转移允许大规模的加速，因为GPU比CPU拥有更多的内核。笔者觉得，对于我来说一个比较好的使用场景是，代替并行，在pandas处理比较慢的时候，切换到cuDF，就不用写繁琐的并行了。官方文档：1 Docs »...

随着新版本的推出，RAPIDS 迎来了其推出一周年纪念日。回顾所经历的一年，RAPIDS团队就社区对该项目的关心和支持表示衷心的感谢。此前，RAPIDS获得了其首个BOSSIE奖。非常感谢各位的支持！RAPIDS团队将继续推动端对端数据科学加快发展，达到新高度。文章目录RAPIDSRAPIDS定义rapids背景资料RAPIDS核心库更新cuDFcuML 和 XGBoost从cuML 训练到...

之前看sklearn线性模型没有R方，F检验，回归系数T检验等指标，于是看到了statsmodels这个库，看着该库输出的结果真是够怀念的。。文章目录1 安装2 相关模型介绍2.1 线性模型2.2 离散选择模型(Discrete Choice Model, DCM)2.3 非参数统计2.4 广义线性模型 - Generalized Linear Models2.5 稳健回归——Robust R...

受苏神的《最小熵原理（五）：“层层递进”之社区发现与聚类》启发，拿来做词聚类，看苏神的贴出来的效果蛮好，就上手试了试，感觉确实不错。最新的v1.0版本还有专门网站：https://mapequation.github.io/infomap/1 简单的理论Infomap 的双层编码方式把群组识别（社区发现）同信息编码联系到了一起。一个好的群组划分，可以带来更短的编码。所以，如果能量化编码长度...

微信AI首席科学家牛成公布了最新开放方案，并重磅宣布全面开放各层次 NLP 能力。具体说来，微信 AI 迈出了“三大步”：以硬件合作为核心的智言小微硬件开放平台 2.0 正式亮相； 公开以对话开放能力为核心的微信对话开放平台； 全面开放以自然语言处理能力为核心的 NLP 基础技术平台。参考：微信9年：张小龙指明方向，微信AI全面开放NLP能力今天公开课上隆重介绍了...

京东也在电商智能写作领域做了非常多的工作，而且也与阿里妈妈创意中心一样，有试用界面，也接受API调用与商务合作。京东之前也有李白写作平台（在线：https://libai.jd.com/...

本篇为电商智能写作第一篇，笔者跟踪电商智能写作领域有些日子了，目前已知有成型电商智能写作产品的有：阿里的阿里妈妈（还有其他的几篇该领域的论文，不知道有木有做成产品使用起来），京东AI闪电，宝尊电商等。其中，又以阿里妈妈创意中心这个产品 + 技术 + 论文 + 代码 + 专利都齐全的，所以开篇来说。阿里妈妈一键生成电商营销文案这个是阿里妈妈创意中心，智能文案的试用界面，可以看到用户可以输入...

阿里因为特有的大平台流量，在各种智能内容生成上都涉足较多，而且公之于众的成果颇多。9月26日，阿里巴巴在杭州云栖大会上首次公布了人工智能调用规模：AI每天调用超1万亿次，服务全球10亿人，日处理图像10亿张、视频120万小时、语音55万小时及自然语言5千亿句，已经成为中国最大的人工智能公司。阿里还首次披露人工智能的完整布局，在AI芯片、AI云服务、AI算法、AI平台、产业AI的进展。阿里首...

昨天刚好看到CSDN有要开通付费专栏（定价有点不合理啊），我就在想有啥好写。。刚好最近的研究方向就是KG +智能写作，而且大大小小的智能内容创作产品、技术也一直在关注，于是就想做个小小搬运匠，看看能不能把相关的内容整理、搬运一下。智能写作可能比较偏重文字创作，内容创作可能就更加宽泛了一些，不仅仅是文字，还有：图片、大热的视频、音乐等载体。现在对于内容创作的需求也是越来越大，很多个...

1 前言不知道哪篇文献中提及到了NER的几款最、最、最常见模型：从图中可以看到，其实CRF和BiLSTM-CRF效果差距不大，本身能省事儿就省事儿的原理，用简单的CPU就可以跑的，pycrfsuite非常符合。这个开源项目medical_ner_crfsuite已经说得蛮清楚了，而且代码+数据也开源了，笔者就不赘述了。除了pycrfsuite，还有sklearn_crfsuite也是同样...

来自腾讯AI Lab肖涵(肖涵博士，腾讯AI Lab GNES项目组负责人)大神的开源项目，非常赞:GNES Flow。GNES Flow让你通过“Pythonic”的直观方式快速构建神经搜索框架，将GNES架构中的各个微服务搭积木一样组织起来。它支持可视化，多进程/线程/DockerSwarm/K8s后台。GNESFlow和GNES的关系就如同Keras和Tensorflow一样，它为不熟...

AC自动机是多模式匹配的一个经典数据结构，原理是和KMP一样的构造fail指针，不过AC自动机是在Trie树上构造的，但原理是一样的。官方github：https://github.com/WojciechMula/pyahocorasick/文章目录1 安装2 使用3 案例1 安装This module is written in C. You need a C compiler i...

之前看到苏神【重新写了之前的新词发现算法：更快更好的新词发现】中提到了kenlm，之前也自己玩过，没在意，现在遇到一些大规模的文本问题，模块确实好用，前几天还遇到几个差点“弃疗”的坑，解决了之后，就想，不把kenlm搞明白，对不起我浪费的两天。。kenlm的优点（关于kenlm工具训练统计语言模型）：训练语言模型用的是传统的“统计+平滑”的方法，使用kenlm这个工具来训练。它快速，节省内存，...

文章目录1 redis docker 部署与安装2 py - redis的使用2.1 redis的连接2.2 常规属性查看2.3 STRING 字符串的操作1 redis docker 部署与安装参考：一文教你如何通过 Docker 快速搭建各种测试环境首先拉取 Redis 镜像, 这里我选择的是 redis:alpine 轻量级镜像版本：docker pull redis:alpine...

文章目录1 mongodb安装1.1 下载 MongoDB 镜像1.2 运行 MongoDB 镜像1.3 添加管理员账号1.4 用新创建的 root 账户连接，测试一下2 可视化界面Robo 3T3 pymongo增删改查3.1 数据库连接3.2 建表collection3.3 文档插入与删除关于Unicode编码的字符串注意点3.4 数据更新update3.5 数据替换replace3.6 查...

文章目录1 pyspark.ml MLP模型实践9 spark.ml模型评估 MulticlassClassificationEvaluator1 pyspark.ml MLP模型实践官方案例来源：https://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.classification.Multilay...

本篇是继 极简使用︱Gemsim-FastText 词向量训练以及OOV（out-of-word）问题有效解决 之后，让之前的一些旧的"word2vec"具备一定的词表外查询功能。还有一个使用场景是很多开源出来的词向量很好用，但是很大，用gensim虽然可以直接用，如果能尽量节省一些内存且比较集中会更好，同时如果有一些OOV的功能就更好了，于是笔者就简单抛砖引玉的简单写了该模块。譬如以下这些大...

apple开源机器学习框架turicreate内容非常广阔，本篇介绍冰山一角的图像相似，极简主义的代表！！！！github:https://apple.github.io/turicreate/docs/api/generated/turicreate.SFrame.html首篇博客：python︱apple开源机器学习框架turicreate中的SFrame——新形态pd.DataFrame...

纠错是从互联网起始时就在一直解决的问题，但是一直作为一些重要技术的辅助、附属功能而默默无闻，譬如搜索引擎、譬如火热的智能写作等。中文文本纠错任务，常见错误类型包括：谐音字词，如 配副眼睛-配副眼镜混淆音字词，如 流浪织女-牛郎织女字词顺序颠倒，如 伍迪艾伦-艾伦伍迪字词补全，如 爱有天意-假如爱有天意形似字错误，如 高梁-高粱中文拼音全拼，如 xingfu-幸福中文拼音缩写，...

keras-yolov3 + kalman filter进行目标检测detector+trackerdetector丢失目标我们目前detector为了求快用了yolo，但是one stage的算法目标丢失情况挺严重的.多帧融合可以考虑一下为了保持跟踪的快速性，所以，在检测车辆后，利用快速跟踪来代替车辆检测结果，中间涉及到毫米波雷达与车辆bbox匹配问题,匹配完成后，利用毫米波雷达的准...

qqwweee/keras-yolo3是最简单的自数据训练yolov3的开源项目了。非常简单，相比其他的开源项目，太适合新手练习yolov3。而公开的很多开源框架的都是基于VOC/COCO来写预训练，整理数据起麻烦不少。本来笔者看到mxnet/gluoncv有yolov3的自训练，而且Mxnet还进行一定改进把精度提升了不少，还欢欣鼓舞的去尝试，但是一旦遇到坑，基本没法解决。。社区人太少，搜不...

qqwweee/keras-yolo3是最简单的自数据训练yolov3的开源项目了。非常简单，相比其他的开源项目，太适合新手练习yolov3。而公开的很多开源框架的都是基于VOC/COCO来写预训练，整理数据起麻烦不少。本来笔者看到mxnet/gluoncv有yolov3的自训练，而且Mxnet还进行一定改进把精度提升了不少，还欢欣鼓舞的去尝试，但是一旦遇到坑，基本没法解决。。社区人太少，搜不...

collections有的功能：['deque', 'defaultdict', 'namedtuple', 'UserDict', 'UserList', 'UserString',\ 'Counter', 'OrderedDict', 'ChainMap', 'Awaitable', 'Coroutine', 'AsyncIterable', \ 'AsyncIterator', 'A...

Tkinter的GUI设计 和 django页面设计，那么笔者只是想快速做个demo原型，以上的内容能不能结合着来，有一些简单的交互 + web可以快速访问的到，于是就看到了jupyter notebook这两个库，非常简单的玩具，来看看呗~文章目录一 ipywidgets1.1 基础组件1.2 interact 简单交互二 lineup_widget一 ipywidgets文档：htt...

（~免费广告位一则~）AI Lab开源大规模高质量中文词向量数据，800万中文词随你用，质量非常高，就是一个词向量.txt文件都有16G之多，太夸张了。。不过的确非常有特点：⒈ 覆盖率（Coverage）：该词向量数据包含很多现有公开的词向量数据所欠缺的短语，比如“不念僧面念佛面”、“冰火两重天”、“煮酒论英雄”、“皇帝菜”、“喀拉喀什河”等。以“喀拉喀什河”为例，利用腾讯AI Lab...

现实情况中，很多机器学习训练集会遇到样本不均衡的情况，应对的方案也有很多种。笔者把看到的一些内容进行简单罗列，此处还想分享的是交叉验证对不平衡数据训练极为重要。文章目录1 样本不平衡的解决思路1.2 将不平衡样本当作离群点1.2 欠采样/过采样1.3 训练策略的优化1.3.1 Focal_Loss1.3.2 class_weight1.4 不平衡评价指标：不要ROC，用Precision/R...

本篇为资源汇总，一些NLP的比赛在抽取文本特征的时候会使用非常多的方式。传统的有：TFIDF/LDA/LSI等偏深度的有：word2vec/glove/fasttext等还有一些预训练方式：elmo / bert文章目录@[toc]1 之前的几款词向量介绍与训练帖子2 极简训练glove/word2vec/fasttext2.1 word2vec的训练与简易使用2.2 glove...

glove/word2vec/fasttext目前词向量比较通用的三种方式，之前三款词向量的原始训练过程还是挺繁琐的，这边笔者列举一下再自己使用过程中快速训练的方式。其中，word2vec可见：python︱gensim训练word2vec及相关函数与功能理解glove可见：极简使用︱Glove-python词向量训练与使用因为是在gensim之中的，需要安装fasttext，可见：htt...

glove/word2vec/fasttext目前词向量比较通用的三种方式，其中word2vec来看，在gensim已经可以极快使用（可见：python︱gensim训练word2vec及相关函数与功能理解）官方glove教程比较啰嗦，可能还得设置一些参数表，操作不是特别方便。笔者使用的时候，用的是一款比较省力/封装的。官方glove:https://github.com/stanfordn...

笔者本来想在阿里云上部署nvidia - docker + Rstudio Server，然后使用R语言来进行深度学习。本篇是在该过程中产生的经验之谈。文章目录1 准备阶段2 Rstudio Server nvidia-docker 环境2.1 docker初始化的问题2.2 docker中文环境布置问题3 Rstudio Server的部署3.1 启动3.2 添加用户组4 R语言与tenso...

无监督信息抽取较多都是使用哈工大的ltp作为底层框架。那么基于ltp其实有了非常多的小伙伴进行了尝试，笔者私自将其归纳为：事件抽取（三元组）观点抽取“语言云” 以哈工大社会计算与信息检索研究中心研发的 “语言技术平台（LTP）” 为基础，为用户提供高效精准的中文自然语言处理云服务。pyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色...

neo4j数据批量导入目前主要有以下几种数据插入方式：（转自:如何将大规模数据导入Neo4j） Cypher CREATE 语句，为每一条数据写一个CREATE Cypher LOAD CSV 语句，将数据转成CSV格式，通过LOAD CSV读取数据。 官方提供的Java API —— Batch Inserter 大牛编写的 Batch Import 工具 官方提供的 neo4j-...

承接练习题 - 基于快速文本标题匹配的知识问答实现（一，基础篇），前篇主要把qdr这个项目解剖了一下，现在开始应用做一下问答。 可以看到qdr这个项目的特点是：可以快速比对两个文本之间的相似性，而且计算tfidf、bm25、lm三款模型的速度很快。 那么本轮知识问答的设计源于此：先储备一批问答语料，一问一答比较合适；把问题进行分词,变为文本序列；载入qdr模型之中，进行训练； 先t...

该练习题来的很蹊跷，笔者在看entity embeddings的东西，于是看到了16年的这篇文章：Learning Query and Document Relevance from a Web-scale Click Graph，想试试效果，就搜到了qdr这个项目，然后试了试，虽然entity embeddings做的不好，但是好像可以依据里面的文本匹配搞搞问答，于是花了一点时间，因为是c...

1 elmo是什么？参考：《文本嵌入的经典模型与最新进展》 人们已经提出了大量可能的词嵌入方法。最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。虽然有些人通过结合语义或句法知识的有监督来增强这些无监督的方法，但纯粹的无监督方法在 2017-2018 中发展非常有趣，最著名的是 FastText（word2v...

pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒，为了与 Python 进行对接，方便在 Python 中直接使用数据生成图，我写了这个项目。以下是最新版echart的靓图。当然，pyecharts貌似没有这么齐全。 官方文档：http://pyecharts.herokuap...

推荐系统里面有两个经典问题：EE问题和冷启动问题。 什么是EE问题？又叫exploit－explore问题。exploit就是：对用户比较确定的兴趣，当然要利用开采迎合，好比说已经挣到的钱，当然要花；explore就是：光对着用户已知的兴趣使用，用户很快会腻，所以要不断探索用户新的兴趣才行，这就好比虽然有一点钱可以花了，但是还得继续搬砖挣钱，不然花完了就得喝西北风。除了bandit算...

笔者最近在尝试使用PySpark，发现pyspark.dataframe跟pandas很像，但是数据操作的功能并不强大。由于，pyspark环境非自建，别家工程师也不让改，导致本来想pyspark环境跑一个随机森林，用 《Comprehensive Introduction to Apache Spark, RDDs & Dataframes (using PySpark) 》中的案例，...

模型融合的方法很多，Voting、Averaging、Bagging 、Boosting、 Stacking，那么一些kaggle比赛中选手会选用各种方法进行融合，其中岭回归就是一类轻巧且非常有效的方法，当然现在还有很多更有逼格的方法。本文是受快照集成的启发，把titu1994/Snapshot-Ensembles项目中，比较有意思的加权平均集成的内容抽取出来，单独应用。1 快照集成 因为受...

MOne基于词包的无监督多主题得分1 开源的今日头条又开源了一个某机构整理的今日头条数据，可见：今日头条中文新闻文本(多层)分类数据集 本数据集有1000+分类，2914000条数据，虽然没有放开正文，但是也是非常好的词包收集源，于是笔者花了很久整理一版本。今日头条的数据样式为： 以|,|分割的各字段，从前往后分别是 新闻ID，分类代码，新闻字符串（仅含标题），新闻关键词，新闻labe...

Apriori算法是通过限制候选产生发现频繁项集。总的来说，Apriori算法其实效率并不高，大规模数据计算的时候，需要考虑性能问题。 code + data可见：mattzheng/AprioriDemo盗图盗图： 在R语言里面有非常好的package，可见我之前的博客： R语言实现关联规则与推荐算法(学习笔记) 该packages能够实现以下一些可视化： ...

笔者最近需要使用pyspark进行数据整理，于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。1、——– 查 ——–— 1.1 行元素查询操作 —像SQL那样打印列表前20元素show函数内可用int类型指定要打印的行数：df.show()df.show(30)以树的形式打印概要df.prin...

最近笔者在做文本挖掘项目时候，写了一些小算法，不过写的比较重，没有进行效率优化，针对大数据集不是特别好用，不过在小数据集、不在意性能的情况下还是可以用用的。本次练习题中可以实现的功能大致有三个：短语发现新词发现词共现短语发现、新词发现跟词共现有些许区别： [‘举’，’个’，‘例子’，‘来说’]短语发现、新词发现，是词-词连续共现的频率，窗口范围为1，也就是：‘举’，‘例...

代码见Github：mattzheng/U-Net-DemoU-Net是Kaggle比赛非常青睐的模型，简单、高效、易懂，容易定制，可以从相对较小的训练集中学习。来看几个变形：（1）Supervise.ly 公司。 在用 Faster-RCNN（基于 NasNet）定位 + UNet-like 架构的分割，来做他们数据众包图像分割方向的主动学习，当时没有使用 Mask...

DouBanRecommend基于豆瓣图书的推荐、知识图谱与知识引擎简单构建neo4j本项目主要贡献源来自豆瓣爬虫（数据源）lanbing510/DouBanSpider、知识图谱引擎Agriculture_KnowledgeGraph、apple.turicreate中内嵌的推荐算法。 主要拿来做练习，数据来源可见lanbing510/DouBanSpider。练习内容：豆瓣...

图数据库常规的有：neo4j（支持超多语言）、JanusGraph/Titan（分布式）、Orientdb，google也开源了图数据库Cayley（Go语言构成）、PostgreSQL存储RDF格式数据。—- 目前的几篇相关：—– neo4j︱图数据库基本概念、操作罗列与整理（一） neo4j︱Cypher 查询语言简单案例（二） neo4j︱Cypher完整案例csv导入、关系联通、...