机器学习
hejp_123
Nothing is impossible
展开
-
Pyspark开发TF-IDF算法
直接上干货,一套操作猛如虎,一看结果很惊喜#! python3# -*- coding: utf-8 -*-from pyspark.sql import SparkSessionfrom pyspark.sql import functions as Fspark = SparkSession.builder.appName("PySpark example").enableHiveSupport().getOrCreate()spark.sparkContext.setLogLevel原创 2020-11-23 10:20:33 · 1281 阅读 · 3 评论 -
stacking的详细代码教程
1.Stacking是什么?Stacking简单理解就是讲几个简单的模型,一般采用将它们进行K折交叉验证输出预测结果,然后将每个模型输出的预测结果合并为新的特征,并使用新的模型加以训练。Stacking模型本质上是一种分层的结构,这里简单起见,只分析二级Stacking.假设我们有3个基模型M1、M2、M3。基模型M1,对训练集train训练,然后用于预测train和test的标签列,分...原创 2019-11-09 23:27:01 · 4580 阅读 · 6 评论 -
GBDT一篇理论和实例的理解
https://blog.csdn.net/zpalyq110/article/details/79527653原创 2019-10-16 10:18:37 · 135 阅读 · 0 评论 -
最通俗的解释--牛顿法与梯度下降法数学公式推导过程
牛顿法与梯度下降法数学公式推导过程迭代更新数学公式推导过程1、牛顿法首先对于有n个变量的函数的一阶导数为: 其次对于其二阶导数为: 之后关于目标函数的包含二阶导数的泰勒展开式为: 这时将看成的函数,则根据函数的最小值性质,当偏导数等于0时出取得,从而得到,所以,根据等式的特点得到,只有两者都取0时才能使等式等于0,...原创 2019-10-13 17:13:01 · 1661 阅读 · 1 评论 -
Boosting方法中的特征重要度--干货
来源三个文档: DecisionTree, XGBoost, LightGBM。Decision Tree地址:DecisionTreeClassifierfeature_importances_ : array of shape = [n_features]The feature importances. The higher, the more important the f...原创 2019-09-29 18:39:37 · 264 阅读 · 0 评论 -
featuretools特征工程自动化工程
Featuretools是一个执行自动特征工程的框架。它擅长于为深度学习把互相关联的数据集转换为特征矩阵。我们可以将特征构造的操作分为两类:「转换」和「聚合」。我们通过下面的例子来了解FeatureTools使用方法。代码示例地址:https://github.com/scottlinlin/auto_feature_demo.git安装pip install featuretools...原创 2019-09-09 11:49:19 · 497 阅读 · 0 评论 -
一个基于深度学习的 CTR 模型包
简洁易用可扩展,一个基于深度学习的 CTR 模型包原标题:简洁易用可扩展,一个基于深度学习的 CTR 模型包01 前言在计算广告和推荐系统中,CTR 预估一直是一个核心问题。无论在工业界还是学术界都是一个热点研究问题,近年来也有若干相关的算法竞赛。本文介绍一个基于深度学习的 CTR 模型包 DeepCTR,具有简洁易用、模块化和可扩展的优点。02 CTR预估简介CTR 预...原创 2019-09-25 20:31:56 · 196 阅读 · 0 评论 -
利用keras进行情感分析(一)
textRNN# -*- coding: utf-8 -*-# @Time : 2019/7/4 9:56# @Author : hejipei# @File : keras_sentiment_TextRNN.py""" """from keras import Input, Modelfrom keras.layers import Embedding, Den...原创 2019-09-25 21:03:48 · 566 阅读 · 0 评论 -
利用keras进行情感分析(二)
HAN# -*- coding: utf-8 -*-# @Time : 2019/7/4 9:37# @Author : hejipei# @File : keras_sentiment_HAN.py""" """from keras import backend as Kfrom keras import initializers, regularizers, ...原创 2019-09-25 21:05:41 · 377 阅读 · 0 评论 -
利用keras进行情感分析(三)
RCNNVariant# -*- coding: utf-8 -*-# @Time : 2019/7/4 9:13# @Author : hejipei# @File : keras_sentiment_RCNNVariant.py""" """""" """from keras import Input, Modelfrom keras.layers imp...原创 2019-09-25 21:08:39 · 474 阅读 · 0 评论 -
利用keras进行情感分析(四)
TextBiRNN# -*- coding: utf-8 -*-# @Time : 2019/7/4 9:39# @Author : hejipei# @File : keras_sentiment_TextBiRNN.py""" """# coding=utf-8from keras import Input, Modelfrom keras.layers ...原创 2019-09-25 21:11:13 · 364 阅读 · 0 评论 -
keras进行情感分析汇总
经过一段时间的梳理,今天有时间就把做项目使用的demo写成博客,对研究自然语言的你们提供一些思路。代码都能运行,若有问题,请留言,# -*- coding: utf-8 -*-# @Time : 2019/7/3 9:05# @Author : hejipei# @File : keras_sentiment.py""" """'''好的博客和github''...原创 2019-09-26 16:38:33 · 630 阅读 · 0 评论 -
pandas-profiling--简单好用的数据探索性分析
github:https://github.com/pandas-profiling/pandas-profiling作用:建模探索性分析安装方法:方法1:conda install -c conda-forge pandas-profiling方法2:pip install pandas-profiling使用import numpy as npimp...原创 2019-09-07 18:10:17 · 450 阅读 · 0 评论