- 博客(19)
- 收藏
- 关注
RSS订阅原创 服务器启动jupyter notebook
服务器启动jupyter notebook1、在本地机器上进行 ssh 端口映射在CMD命令行中输入ssh -p 22 -L 8008:127.0.0.1:8888 remote_user_name@remote_server_ip其中，-p 21 表示远程访问的端口，有的可能不是21，需要换成端口22表示ssh而不是ftp-L 8008:127.0.0.1:8888表示将远程服务器的 Jupyter Lab 端口8888 映射到本地机器 127.0.0.1 的 8008 端口。2、
2021-03-11 16:03:19
598
原创 Python日期的加减等操作
Python日期的加减等操作一、日期输出格式化datetime => stringstring => datetime二、日期比较操作1. 两个日期相差多少天。2. 今天的n天后的日期。一、日期输出格式化datetime => stringnow = datetime.datetime.now()now.strftime('%Y-%m-%d %H:%M:%S')#输出2020-12-30 16:26:23.870105strftime是datetime类的实例方法。str.
2020-12-30 21:13:21
447
原创 设置jupyter中DataFrame的显示限制
使用jupyter notebook时，经常会出现dataframe列数或者行数较多，显示时内容被省略的情况(以…形式)，我们可以按照下面的方式设置notebook的显示限制。import pandas as pdpd.set_option('display.width', 500) #设置整体宽度pd.set_option('display.height', 500) #设置整体高度pd.set_option('display.max_rows',100) #设置最大行数pd.s
2020-12-30 17:41:17
2383
原创 机器学习算法实践——支持向量机
机器学习算法实践——支持向量机SVM介绍支持向量机（Support Vector Machine，SVM）是一个非常优雅的算法，具有非常完善的数学理论，常用于数据分类，也可以用于数据的回归预测中，由于其其优美的理论保证和利用核函数对于线性不可分问题的处理技巧，在上世纪90年代左右，SVM曾红极一时。我们常常会碰到这样的一个问题，首先给你一些分属于两个类别的数据import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datas
2020-08-26 20:41:33
205
原创 机器学习算法实践——决策树
机器学习算法实践——决策树决策树的介绍和应用决策树的介绍决策树是一种常见的分类模型，在金融分控、医疗辅助诊断等诸多行业具有较为广泛的应用。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。例如在婚恋市场中，女方通常会先看男方是否有房产，如果有房产再看是否有车产，如果有车产再看是否有稳定工作……最后得出是否要深入了解的判断。决策树的主要优点：具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点：
2020-08-23 14:04:25
304
原创 数据分析——阿里资金流入流出分析（task2-时间序列规则）
数据分析——阿里资金流入流出分析（task2-时间序列规则）import pandas as pdimport sklearn as skrimport numpy as npimport datetimeimport matplotlib.pyplot as pltimport seaborn as snsfrom dateutil.relativedelta import relativedelta# Load the balance datadef load_data(path:
2020-08-22 22:39:42
281
原创 数据分析——阿里资金流入流出分析（task1-数据探索与分析）
数据分析——阿里资金流入流出分析（task1-数据探索与分析）学习目标熟悉数据分析的流程，了解金融时间序列分析的一般方法。任务安排数据集可在阿里天池下载：https://tianchi.aliyun.com/competition/entrance/231573/information数据实践库导入import pandas as pdimport numpy as npimport warnings import datetimeimport seaborn as snsimp
2020-08-20 14:32:56
1353
原创 机器学习算法实践——逻辑回归
机器学习算法实践——逻辑回归算法原理模型参数估计算法实践鸢尾花数据集分类实践算法原理逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk⋅x),k=1,2,⋯ ,K−1P(Y=k | x)=\frac{\exp \left(w_{k} \cdot x\right)}{1+\sum_{k=1}^{K-1} \exp \left(w_{k} \cdot x\right)}, \quad k=1,
2020-08-18 19:22:22
225
原创 NLP入门——天池新闻文本分类（6）基于深度学习的文本分类3)
NLP入门——天池新闻文本分类（5）基于深度学习的文本分类3学习目标AttentionAttention 机制Self-AttentionTransformerMulti-headed attention（多头怪）Encoder-Decoder-AttentionAdd&Norm （残差模块）代码实现细节：Bert预训练模型分类：不同模型的建模：代码实践：bert_path 指的是目录,他要找到对应的config和vocab学习目标• 了解Transformer的原理和基于预训练语言模型（Ber
2020-08-05 00:01:11
267
原创 NLP入门——天池新闻文本分类（5）基于深度学习文本分类2
NLP入门——天池新闻文本分类（5）基于深度学习的文本分类2深度模型word2vecSkip-grams(SG)过程Skip-grams训练word2Vec训练词向量TextCNNtextCNN Datawhale实现深度模型前面提到新闻文本分类任务可以拆分成两步来进行，第一步先将文本表示成词向量，第二步则使用机器学习或深度学习模型来对模型输入（词向量）进行分类处理。因为模型的提升也可以从这两个方面来着手。第一种思路是选择更为合适的词向量方法，比如从one-hot词向量转变成Word2vec词向量；而第
2020-08-02 01:17:29
611
原创 NLP入门——天池新闻文本分类（4）基于深度学习文本分类1
NLP入门——天池新闻文本分类（3）基于深度学习的文本分类基于深度学习的文本分类学习目标文本表示方法 Part2之前的文本表示方法的缺陷FastText基于FastText的文本分类使用交叉验证集调参本章作业基于深度学习的文本分类深度学习的模型既可以提供特征提取的功能，也可以完成分类。学习目标学习FastText的使用和基础原理学会使用验证集进行模型参数调优文本表示方法 Part2之前的文本表示方法的缺陷之前我们对文档提供的表示方法包括One-hotBag of WordsN-g
2020-07-27 23:23:42
307
原创 NLP入门——天池新闻文本分类（3）基于机器学习的文本分类
NLP入门——天池新闻文本分类（3）基于机器学习的文本分类基于机器学习的文本分类学习目标机器学习模型基于机器学习的文本分类这一次任务中会使用机器学习的模型来进行文本分类。机器学习的模型十分丰富，并且包括很多个分支。本次将使用一些传统机器学习进行文本分类。学习目标学会TF-IDF的原理和使用使用sklearn的机器学习模型来进行文本分类机器学习模型机器学习中的分类模型有很多种，常见的分类器有K近邻、决策树、随机森林、支撑向量机、朴素贝叶斯、逻辑回归等等,本章中我们会用到...
2020-07-25 17:46:16
423
原创 NLP入门——天池新闻文本分类（2）数据读取与数据分析
NLP入门——天池新闻文本分类（2）数据读取与数据分析数据读取与数据分析学习目标数据读取数据分析1.新闻文本长度2.新闻类别分类3.字符分布统计数据分析的结论本章作业1.假设字符3750，字符900和字符648是句子的标点符号，请分析赛题每篇新闻平均由多少个句子构成？2.统计每类新闻中出现次数最多的字符3.作业分析中的结论数据读取与数据分析本章内容为数据读取与数据分析，使用Pandas完成数据读取，并对数据构成进行分析学习目标使用Pandas完成赛题数据的读取分析赛题数据的分布情况数据读取
2020-07-22 16:49:49
610
原创 NLP入门——天池新闻文本分类（1）赛题理解
NLP入门——天池新闻文本分类（1）赛题理解赛题理解学习目标赛题数据数据标签评测指标读取数据解题思路赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：入门自然语言处理，熟悉相关机器学习和深度学习的方法和算法。赛题任务：对来自互联网的新闻文本进行分类，也是一个典型字符识别的问题。学习目标理解赛题背景与赛题数据下载赛题数据，理解赛题的思路赛题数据赛题的数据报名后即可下载，数据为新闻文本，并且进行了字符级别的匿名处理。数据文本中包含14个类别：财经、彩票、房产、股票、家居、教育、
2020-07-20 01:41:53
332
原创 Spring 装配Bean(三)：通过XML装配bean
Spring 装配Bean（三）：通过XML装配bean创建XML配置规范声明一个简单的bean借用构造器注入初始化bean使用constructor-arg元素Spring3.0引入的c-命名空间注入字面量而非引用值创建XML配置规范 使用XML文件配置Spring时，首先创建一个xml文件，并且要以<beans>元素为根<?xml version="1.0" enco...
2019-09-18 22:43:13
177
原创 Spring 装配Bean(二)：在JAVA代码中装配bean
Spring 装配Bean（二）：在JAVA代码中装配bean创建配置类声明简单的bean使用javaConfig配置实现注入 在大多数情况下通过Spring组件扫描以及自动装配bean都是更为推荐的，但是当我们想把第三方类库中的组件添加到IOC容器中时，我们不可能到源代码中去添加@Component和@AutoWired注解，所以这种时候我们不能使用自动化装配。 而显示装配方式有两种，通...
2019-09-18 16:35:29
145
原创 Spring 装配Bean(一)：自动化装配Bean
Spring 装配Bean一、Spring配置Bean的可选方案二、自动化装配Bean一、Spring配置Bean的可选方案隐式的bean发现机制和自动装配在Java中显示配置在XML文件中显示配置二、自动化装配BeanSpring实现自动化装配需要两个具体步骤组件扫描（component scanning）：Spring自动发现应用上下文中创建的bean自动装配（autow...
2019-09-17 23:07:15
162
原创 Spring in action 依赖注入DI 以及AOP Demo----IDEA搭建第一个Spring program(以及创建Bean异常报错解决方法)
Spring in action 依赖注入DI 以及AOP Demo----IDEA搭建第一个Spring programspring 4.0以上添加对 jdk1.8 1.9的支持IDEA Spring 工程目录POJO（Plain Old JAVA Object）spring 上下文（knight.xml）中DI（Dependency Injection）依赖注入KnightMain.java加...
2019-09-17 15:15:12
237
原创 Java中String、StringBuffer、StringBuiler的区别和用法
文章目录Java中 String、StringBuffer、StringBuilder的区别和用法可变类与不可变类String、StringBuffer、StringBuilder的关系和用法区别StringBuilder 部分API(StringBuffer与此相同)Java中 String、StringBuffer、StringBuilder的区别和用法Java中的字符串类有我们最熟悉的S...
2019-03-23 15:05:33
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人