【数据挖掘】数据挖掘笔记（二）数据标注与数据生成 目录1 数据标注1.1 前言1.2 Self-training1.3 弱监督2 数据生成参考1 数据标注1.1 前言 在我们获取到的数据当中，可能存在在着部分未标注的数据。比如在一部分外卖订单中，可能会有一部分顾客选择不评价打分，那么从这部分订单中获取到的数据是未标注的。 在参考[1-2]中，提到下图中不同情况下，数据标注可采用到的方法。考虑个人需要，本文将记录红框中的两种方法的学习笔记。1.2 Self-trainingStep 1 利用已有标注数据训练得到一个模型Step 2 将未
【数据挖掘】数据挖掘笔记（一）开源数据集与数据采集 目录1 开源数据集1.1 部分开源数据集及介绍1.2 数据搜索网站2 网络爬虫2.1 BeautifulSoup2.1.1 举例部分代码2.2 模拟浏览器登录2.2.1 配置2.2.2 举例部分代码2.3 re 正则表达式2.3.1 正则表达式2.3.2 常用函数2.4 Fiddle抓包推荐参考1 开源数据集1.1 部分开源数据集及介绍1）GLUE：数据集具体介绍可参考博客2）腾讯AI Lab开源大规模高质量中文词向量数据：数据下载地址3）nltk_data：NLTK Corpora介绍4）其
【安装配置】流泪！！！！Windows下装faiss 最近学习YouTubeDNN想用faiss，github上的官方文档是说可以在Windows上装CPU版本的但安装后import总是报错“ImportError: DLL load failed: 找不到指定的模块。”解决从清华镜像上下载faiss-cpu-1.7.1版，cd到它的储存目录用pip安装即可泪目...
【python】pyecharts-Graph - Graph_weibo数据格式 首先看到官方例子代码# 官网例子import jsonfrom pyecharts import options as optsfrom pyecharts.charts import Graphwith open("weibo.json", "r", encoding="utf-8") as f: j = json.load(f) nodes, links, categories, cont, mid, userl = jc = ( Graph() .add
【LaTeX】LaTeX转Word及编码错误解决 LaTeX转Word打开powershell，cd到文件目录，输入下面的命令pandoc -s 原文件名.tex -o 转成Word的文件名.docx编码错误在输入上述命令后，出现错误：“pandoc: Cannot decode byte ‘\xa1’: Data.Text.Internal.Encoding.decodeUtf8: Invalid UTF-8 stream”打开tex文件，另存并将文件编码修改为utf-8，得到 新文件名.tex，运行下方的命令即可pandoc -s 新文
【安装配置】SAS9.4安装 下载安装下载参考[1]给到的SAS9.4文件按照参考[2]的步骤一一安装按参考[3]进行SID更新。若出现加引号字符串后的标识符的含义可能在将来的SAS版本中更改，重启SAS再运行即可。参考博文[1]win10（64位）安装sas9.4[2]WIN10(64位)系统安装SAS9.4图文教程[3]SAS9.4-SID更新及教程***（可用至2021年5月）...
【随机模拟】实现基础知识 python 随机数生成0-1的均匀分布的随机数： random.random()从序列中随机选取一个元素： random.choice()随机生成一个int整数型，可指定范围：random.randint()随机过程布朗运动，详见参考博文[2]参考博文[1]python标准库总的random函数用法[2]Python+matplotlib模拟随机游走的布朗运动 ......
【深度学习】bert模型链接 来源bert 预训练模型路径里面有更全的链接第一次直接运行BertModel.from_pretrained(‘bert-base-chinese’)下载模型非常慢，需提前先下载好踩雷:外网链接用浏览器下载也很慢下载很慢T_T，建议把链接复制到迅雷下载会快很多存一下模型下载链接‘bert-base-uncased’: “https://s3.amazonaws.com/models.hug...
【安装配置】cuda+cudnn pytorch+cuda+cudnn win8之前弄错驱动版本信息，安装的cuda太老无法运行，现重新安装1. 检查驱动程序版本右键NVIDIA控制面板—>系统信息官方驱动适配表格我的显卡驱动版本太低，需要进行更新：电脑参考：Windows下安装 CUDA 的问题总结Windows10+GPU版 pytorch 安装Win10下cuda10.1安装正确torch.cud...
【安装配置】DockerToolbox安装docker win8 按这篇博文可顺利安装DockerToolbox在Win7上的安装和设置--------Docker Toolbox官网运行Docker Quickstart Terminal出现此画面即可
【安装配置】pyltp安装 安装pyltppip install pyltp结果“error：microsoft visual c++ 14.0 is required”参考博客：1.Microsoft Visual C++ 14.0 is required 的解决方案2.安装和使用pyltp最后下载whl文件（进链接2可下），但是最高只支持python3.6，python3.7只能降版本了T-T——win...
【安装配置】spark（python） win8 安装spark（python） win8由于数据量过大，感觉必须要安装spark运行了，于是参考了其它博文开始安装参考：[1]https://jingyan.baidu.com/article/08b6a591bdb18314a80922a0.html[2]https://blog.csdn.net/zhongjunlang/article/details/80812669[3]http...
【安装配置】mysql+navicat安装 和 一些踩过坑 mysql配置首先按win10系统本地安装MySQL+navicatmysql 8.0.17 解压版安装教程进行配置坑1：丢失VCRUNTIME140_1.dil在配置好文件之后以管理员运行cmd在cmd运行mysqld --initialize的时候，弹出小框说丢失VCRUNTIME140_1.dil无法继续（我之前重置过电脑）在网上查了一些方法，在官网下载了Visual C++...
【安装配置】anaconda 默认python3.6 搭建python3.5新环境 参考博客Anaconda 中默认的python3.6降为python 3.5(WIN 7 支持）anaconda中更改python版本搭建新环境cmd运行 conda create -n py35 python=3.5 anaconda其中py35新环境名称由于本人使用的编辑器是Spyder，运行完后可在E:\Program Files (x86)\Anaconda3\envs\...
关注
