![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI
机器学习、深度学习算法
lovelife110
主要方向:AIOPS、web渗透、中间件开发。如果我写的文章对你有帮助,帮忙点赞收藏下文章,顺便在我的博客首页加下我的微信群,我们一起学习进步
展开
-
docker 跑算法性能问题
问题描述paas平台基于k8s,在平台上跑算法,发现有性能问题,本地8核电脑跑1分钟的程序,在平台上跑需要2个小时。针对k8s默认启动pod,cpu分配策略为CFS,即 --cpu-shares=1024 --cpu-period=100000 --cpu-quota=100000xgboost 多线程,解决默认开启线程数为cpu个数问题参考:https://blog.csdn.net/qq_33873431/article/details/108362471环境docker 19.03.1命原创 2020-09-04 17:30:17 · 1622 阅读 · 1 评论 -
xgboost 多线程,解决默认开启线程数为cpu个数问题
环境python 3.6xgboost 1.0.1现象在一台48c的服务器上,就import xgboost,还没进行训练,通过命令发现,线程数就达到48个代码:import timeimport xgboostif __name__ == '__main__': print("睡眠开始") time.sleep(15) print("睡眠结束")这里启了一个镜像,通过Linux中/proc/pid/status查询线程数pid=`docker top fad原创 2020-09-02 16:32:11 · 4083 阅读 · 32 评论 -
sklearn实现lda主题模型LatentDirichletAllocation
sklearn实现lda主题模型LatentDirichletAllocation1. 数据集2. 数据读取3. 停用词,分词4. 对文章转换为词频向量5. lda模型6. 预测本文通过LDA算法挖掘新闻文章的主题源码位置https://github.com/lilihongjava/leeblog_python/tree/master/lda代码大体流程if __name__ == '__main__': df = pd.read_csv('./data/cnews.csv')原创 2020-07-20 17:27:02 · 5237 阅读 · 0 评论 -
TensorFlow2.0实现K_Means
介绍K_Means其实用sklearn即可,TensorFlow1.0早期版本支持K_Means,在2.0之后,由于很多api废弃,导致实现K_Means有很多坑。以下为踩坑记录。完整代码路径:https://github.com/lilihongjava/leeblog_python/tree/master/tensorflow_kmeans数据集采用sklearn iris.csv数据集,位于data目录下训练方法入口代码tf_k_means_model(feature_column="s原创 2020-07-06 16:14:36 · 3099 阅读 · 0 评论 -
TensorFlow使用Keras Tuner自动调参
TensorFlow使用Keras Tuner自动调参数据集归一化图像分类模型Hyperband运行超参数搜索(自动调参)获取最佳超参数使用最佳超参数构建和训练模型整体代码代码地址:https://github.com/lilihongjava/deep_learning/tree/master/TensorFlow2.0%E8%87%AA%E5%8A%A8%E8%B0%83%E5%8F%82数据集Zalando商品图片数据集,通过load_data函数读取data目录下 ‘train-labels原创 2020-06-29 10:27:14 · 4777 阅读 · 42 评论 -
TensorFlow2.0实现逻辑回归二分类,多分类
代码路径:https://github.com/lilihongjava/leeblog_python/tree/master/tensorflow_logistic_regression数据集iris.csv,sklearn 鸢尾花数据集二分类这里用二元的交叉熵作为二分类的损失函数,激活函数为sigmoid layer0 = tf.keras.layers.Dense(1, input_shape=(x_data.shape[1],), activation='sigmoid') model =原创 2020-06-24 16:59:29 · 4054 阅读 · 0 评论 -
TensorFlow 2.0多卡gpu训练
环境TensorFlow 2.0python3.6代码原创 2020-06-23 14:34:11 · 5575 阅读 · 2 评论 -
pyhanlp window安装以及人名提取例子
window pyhanlp安装pyhanlp目前使用jpype1这个Python包来调用HanLP所以需要安装jpype1,到https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应python版本的whl。安装pip install JPype1-0.7.1-cp36-cp36m-win_amd64.whl再安装pip install pyhan...原创 2019-12-25 15:55:38 · 2656 阅读 · 25 评论 -
日志自动分析和解析开源工具
论文原文https://arxiv.org/pdf/1811.03509.pdf翻译原文https://blog.csdn.net/arpospf/article/details/98795806GitHub日志解析:https://github.com/logpai/logparser自动日志分析的工具和基准Abstract——在许多软件系统的开发和维护过程中,日志是...转载 2019-12-18 17:03:42 · 11094 阅读 · 0 评论 -
基于系统日志分析进行异常检测
日志解析:https://github.com/logpai/logparser异常检测:https://github.com/logpai/loglizer预备知识:需要对逻辑回归、决策树、SVM、PCA、聚类等有一些了解论文原文:https://github.com/AmateurEvents/article/blob/master/System-Log-Analysis-for-An...转载 2019-11-07 11:12:00 · 24516 阅读 · 19 评论 -
神经网络优化算法-mini-batch、Adam、momentum、随机梯度下降
梯度下降没有任何优化的梯度下降(GD,Gradient Descent)Mini-batch神经网络训练过程是对所有m个样本,称为batch,如果m很大,例如达到百万数量级,训练速度往往会很慢。我们可以把m个训练样本分成若干个子集,称为mini-batches,这样每个子集包含的数据量就小了。这种梯度下降算法叫做Mini-batch Gradient Descent。先...原创 2019-10-16 22:21:13 · 1718 阅读 · 1 评论 -
深度神经网络初始化、正则化、梯度校验
初始化深度神经网络模型中,以单个神经元为例,该层()的输入个数为n,其输出为: 这里忽略了常数项b。为了让z不会过大或者过小,思路是让w与n有关,且n越大,w应该越小才好。这样能够保证z不会过大。一种方法是在初始化w时,令其方差为。激活函数是tanh,相应的python代码为:parameters['W'] = np.random.randn(n[l]...原创 2019-10-03 23:54:19 · 1484 阅读 · 1 评论 -
多层神经网络识别猫图片
例子是之前博客"通过简单神经网络识别猫图片"的例子,现在改为多层神经网络结构之前博客地址:https://blog.csdn.net/qq_33873431/article/details/101672423代码位置:https://github.com/lilihongjava/deep_learning/tree/master/%E5%A4%9A%E5%B1%82%E7%A5%9E%E...原创 2019-10-02 23:29:31 · 1835 阅读 · 0 评论 -
单隐藏层神经网络对数据做2分类
例子代码位置:https://github.com/lilihongjava/deep_learning/tree/master/%E5%8D%95%E9%9A%90%E8%97%8F%E5%B1%822%E5%88%86%E7%B1%BB%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C对上图的数据建立一个模型来做分类X:一个numpy的矩阵,包含了这些数据点...原创 2019-10-02 14:18:20 · 1720 阅读 · 29 评论 -
通过简单神经网络识别猫图片
代码位置:https://github.com/lilihongjava/deep_learning/tree/master/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%86%E5%88%AB%E7%8C%AB数据预处理:数据为H5文件,保存训练集有209张64x64的图像,训练集的图像对应的分类值(【0 | 1】,0表示不是猫,1表示是猫)测...原创 2019-09-29 11:23:02 · 3065 阅读 · 8 评论 -
循环神经网络RNN原理梳理
RNN结构上图为Tx=Ty,T为序列长度,表示输入x的第t个时间步,Tx=Ty的体系结构可以是提取句子中人名,例如句子“小明去学校”,句子中每个词先调整为one-hot编码,然后为标签,0代表不是人名,1代表是。或者通过已有一堆英文人名,构建字符级语言模型来生成新的名称。前向传播上图为计算公式,其中代表权重,前面a代表计算的是激活值,x代表权重后面跟的是首先先通过R...原创 2019-09-27 17:16:47 · 1645 阅读 · 10 评论