段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 cs224u 自然语言推理:任务和数据集-2

cs224u 自然语言推理:任务和数据集-2 nli_01_task_and_data.ipynb__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Fall 2020"目录MultiNLI 属性SNLI 和 MultiNLIMultiNLI 属性五种类型的训练:小说:创作于1912-2010年，跨越多种体裁政府:来自政府网站的报告、信件、演讲等The Slate website电话:总机语料库旅游:

2020-07-29 21:37:30 314

原创 cs224u 自然语言推理:任务和数据集-1

cs224u 自然语言推理:任务和数据集-1 nli_01_task_and_data.ipynb__author__ = "Christopher Potts"__version__ = "CS224u, Stanford, Fall 2020"目录概述任务主要资源安装部署语料库的属性SNLI属性概述自然语言推断(Natural Language Inference，NLI)是预测单词、短语、句子、(段落、文档等)之间的逻辑关系的任务。这种关系对于用自然语言进行的各种推理是至关重要的:辩论、解

2020-07-28 21:37:31 600

原创 cs224u作业：基于远程监督的关系抽取-3

cs224u作业：基于远程监督的关系抽取-3 hw_rel_ext.ipynb__author__ = "Bill MacCartney and Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"目录原型系统二级目录三级目录原型系统这里有许多选择，这个作业可以很容易地发展成一个项目。以下是一些建议:尝试不同的分类器模型，从sklearn及其他模型构建。增加一个特征来表示中间词的长度。增加词袋的表示形式，包括b

2020-07-27 21:40:39 331

原创 cs224u作业：基于远程监督的关系抽取-2

cs224u作业：基于远程监督的关系抽取-2 hw_rel_ext.ipynb__author__ = "Bill MacCartney and Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"目录模型工厂双向unigram特征“中间”词的词性标签同义词集模型工厂rel_ext代码使用其他分类器模型非常容易:只需重新定义model_factory参数。接下来评估一个支持向量分类器。函数run_svm_model_

2020-07-27 20:56:30 339

原创 cs224u作业：基于远程监督的关系抽取-1

cs224u作业：基于远程监督的关系抽取hw_rel_ext.ipynb__author__ = "Bill MacCartney and Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"目录导入库划分训练集、测试集、验证集基线代码导入库import numpy as npimport osimport rel_extfrom sklearn.linear_model import LogisticRegress

2020-07-26 21:19:36 401

原创 NLP基础之Python爬虫

NLP基础之Python爬虫Selenium 是一个用于web应用程序自动化测试的工具，直接运行在浏览器当中，支持chrome、firefox等浏览器。通过Python代码与WEB页面上元素进行交互（点击、输入等），可以获取指定元素的内容。目录安装部署爬虫案例体验安装部署selenium、XPath Helperchrome://extensions/ 页面设置XPath获取地址/html/body[@class='nodata ']/div[@id='mainBox']/main/div[

2020-07-26 14:59:33 584

原创 NLP基础之Python正则表达式

Python正则表达式正则表达式(regular expression)描述一种字符串匹配的模式，用来检查字符串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。目录常用表达式生成日志数据正则表达式分析常用表达式.*用来匹配所有内容()括号用来进行分组，取出已经匹配内容中的部分需要数据*(?=r)表达式的含义向前寻找例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Window

2020-07-26 14:09:36 359

原创 Linux 服务器 pip及yum安装包外网、内网的迁移部署

Linux 服务器 pip及yum安装包外网、内网的迁移部署目录测试服务器安装pip安装yum安装内网服务器部署pip部署yum部署测试服务器安装pip安装pip3 download -d /usr/local/setup_tools/flask_gevent -r /usr/local/setup_tools/flask_gevent/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple[centos@host33 ~]$ c

2020-07-17 13:59:21 933

原创限时福利，19.9元秒杀课程！基于AWS+Databricks云平台实战AI最新版本 Spark3.0.0 Pytorch1.5.1 Tensorflow 2.2

基于AWS+Databricks云平台实战Spark+AI 智华新课程发布中,请关注学习！

2020-07-15 11:40:10 532

原创 Linux + Mysql 部署

Linux + Mysql 部署目录Mysql下载Mysql下载Mysql下载地址，下载mysql-8.0.20-el7-x86_64.tar.gz

2020-07-14 14:12:32 454

原创 SkipGram Model -Formulation

SkipGram Model -Formulation

2020-07-06 19:35:32 309

原创基于远程监控的关系抽取实验

基于远程监控的关系抽取实验rel_ext_02_experiments.ipynb__author__ = "Bill MacCartney and Christopher Potts"__version__ = "CS224u, Stanford, Spring 2020"目录概述导入库构建分类器实验分析检查训练模型发现新的关系实例概述在训练数据上训练分类器，在测试数据上评估预测结果。我们从一个最简单的机器学习开始：使用词袋特征表示及逻辑回归模型，将利用sklearn库，用于特征化实例、训练

2020-07-02 21:41:49 541

原创 Anaconda 虚拟环境安装部署Tensorflow 2.x版本

Anaconda 虚拟环境安装部署Tensorflow 2.x版本目录卸载Tensorflow1.x版本查询Anaconda 的Tensorflow版本安装Tensorflow 2.x版本卸载Tensorflow1.x版本(2020_vir_tensorflow1) D:\2020_vir_tensorflow1\install_whl>pip uninstall tensorflowUninstalling tensorflow-1.15.0: Would remove: d:

2020-07-02 14:37:24 854

原创 cs224u 基于远程监督的关系抽取（5）

cs224u 基于远程监督的关系抽取（5）目录一个简单的基线模型一个简单的基线模型两个实体之间的词表明它们是如何联系的。例如，在“SpaceX was founded by Elon Musk”中的“was founded by”表明，第一个实体和第二个实体之间存在创始人关系。同样，在“Elon Musk established SpaceX”中，“established”表明，第二个实体与第一个实体之间存在创始人关系。因此，编写代码来查找每个关系中两个实体提到的最常见的短语。如例所示，我们需要考虑

2020-07-01 20:06:13 365