傻瓜式提取网页数据的油猴脚本(JavaScript 代码) 一次性提取任意网站的布局类似的数据,例如 淘宝的商品价格、微博的热搜标题、必应搜索的图片链接。使用JavaScript实现,配置到Tampermonkey(油猴)中即可使用。
Win10 设置共享文件夹 整个完整过程分为三步: 1. 允许Guest用户对本机的连接 2. 对指定的文件夹设置可共享的用户 3. 从局域网的另外一个电脑访问共享文件夹 注: 不要按照某些教程所说的创建新用户。否则强迫症每次看见一个无用的新用户会难受的。目录1. 允许Guest用户对本机的连接2.对指定的文件夹设置可共享的用户3. 从局域网的另外一个电脑访问共享文件夹1. 允许Guest用户对本机的连接(1)对桌面的“此电脑”图标:...
pytorch 中的 CrossEntropyLoss 与 NLLLoss 官网是这么介绍CrossEntropyLoss 的:This criterion combines LogSoftmax and NLLLoss in one single class.它将 LogSoftmax 与 NLLLoss 结合在单个类中.用相应的函数进行验证:import torchimport torch.nn.functional as FN = 32num_class = 1000input = torch.randn(N, num_class)targe.
python -m spacy download en_core_web_sm 连接被拒绝 spacy 1.7之后,支持将en_core_web_sm 可以通过“spacy download”的方式下载,也可以通过pip install 的方式进行安装。
Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition 笔记 目录一 引入1.1 论文针对的问题1.2 论文的贡献二 算法2.1 对话中用户与系统的角色2.2 算法总体结构图2.3 用户与系统的policy网络(即两个actor)2.3.1 用户的policy网络2.3.2 系统的policy网络2.4 reward 的计算方法2.5Hybrid Value Network(即critic)2.6Hybrid Value Network的损失函数2.7算法训练流程三 实验3.1 数据集3.2 bas...
pycharm连接服务器运行时提示Can‘t get remote credentials for deployment server pycharm通过 ssh 连接服务器端的python运行程序时偶尔出现错误Can't get remote credentials for deployment server。目前大部分的解决办法都是删掉解释器和deployment重新配置。这确实有用,不过太麻烦了。更方便的解决办法如下图:...
windows 10 使用conda连接网络出现错误(CondaHTTPError: HTTP 000 CONNECTION FAILED for url) 问题:使用清华源时,conda 也报错CondaHTTPError: HTTP 000 CONNECTION FAILED for url试了将 https 改为 http,并删除default后,没有解决。一度以为自己的电脑出问题了。解决办法:1. 删除.condarc 文件,令其使用默认的国外源2. 给自己电脑开个梯子,然后在 cmd 中用下面命令设置临时代理set http_proxy=http://ip:端口set https_proxy=http://ip:端口...
利用tensorflow_hub调用bert(tensorflow 1.x) 我试图在 tensorflow 2.x 下调用 bert 。一直没有找到正确的代码(有些博客标明可用tensorflow 2.0 + tensorflow_hub 调用bert,但我运行时却发现各种错误)。最终还是选择了 tensorflow 1.x 版本。先安装需要的包:pip install "tensorflow>=1.15,<2.0"pip install --upgrade tensorflow-hubpip install bert-tensorflow==1.0.1
查看 github 上项目的创建时间 可使用 github 的 api 查询项目创建时间: 格式:https://api.github.com/repos/{:owner}/{:repository} 例子:https://api.github.com/repos/tensorflow/hub 请求api可以得到一个 JSON 格式的信息。其中有个字段为created_at。例如在浏览器地址栏输入 https://api.github.com/repos/,搜索 created_at,可以看到对应的创建时间为...
java EE 8u1 SDK 包和 java EE 8 API 文档包 java ee 8u1 SDK 包链接: https://pan.baidu.com/s/1lGCgNkpaIlpsZMwb-CXrIA 提取码: wgptJava ee 8 api 文档链接: https://pan.baidu.com/s/1oV5HWx0fVva_RosOTXKT6g 提取码: 2g4y
python按关键字爬取必应高清图片 通过查询前人的博客,发现必应可通过url按关键字查找图片:https://www.bing.com/images/async?q=查询关键字&first=图片编号&count=图片数量&mmasync=1基于该url,我写了一个爬虫类,实现了按关键字下载固定数量的必应高清图片。调用时只需要一条python语句即可(由于使用了线程池并发请求图片,所以下载速度较快,一分钟300张高清图片没问题):# 关键词:电脑壁纸# 需要的图片数量:100# 图片保存路径:'.
爬虫之网页数据提取 爬虫流程: 指定URL 发请求 收响应 解数据 存数据数据解析方法分类: 正则(各编程语言都可以用) bs4(python独有) xpath(重点,各种编程语言都可用)bs4.BeautifulSoup 提供的方法和属性: 实例化BeautifulSoup的方法 本地html文件 例 BeautifulSoup(file) 通过url获取到的html文本 .
爬虫之请求网页基础 python中用于requests的库有两个: - urllib:相对更老,使用更繁琐 - requests:更新,使用更简单requests库中最常用的方法有两个: - requests.get():对应了http协议的 GET request,常用参数是url,params,headers, - requests.post():对应了http协议的 POST request,常用参数是url,data,headers,这两个方法的返回类型都是requests.Re.
解决 tensorboard 空白页面 的问题 启动 tensorboard 后,http://localhost:6006/页面完全空白。我将 tensorboard 2.1 卸载,安装tensorboard 2.0后问题解决。pip uninstall tensorboardpip install tensorboard==2.0.0安装期间出现 ERROR: tensorflow 2.1.0 has requiremen...
利用 Keras 的类 Tokenizer 对原始文本数据进行单词级 one-hot 编码 from keras.preprocessing.text import Tokenizertext_corpus = ['The cat sat on the mat.', 'The dog ate my homework.'] #语料库tokenizer = Tokenizer(num_words=12) #只标记出现次数最多的num_words个单词tokenizer.fit_on...
管道 消息队列 共享内存 的比较(优缺点) Linux下的进程间通信方式有如下几种:低级通信 - 控制信息的通信:信号、信号量。高级通信 - 数据信息的通信:管道、信息队列、共享内存、套接字。其中只有套接字可用于不同主机的进程通信。 谁负责同步 方向是否固定 进程是否需亲缘关系 是否存在消息边界 数据大小是否受限 速度 生命周期随什么 无名管道 内核 是 ...
python实现艾宾浩斯抗遗忘曲线(记忆曲线) 用python实现艾宾浩斯抗遗忘曲线(记忆曲线)学习复习计划表,代码如下from datetime import date, timedeltatimes = [2, 5, 8, 15, 30, 60] #复习间隔,以天数为单位for a in times: review_time = date.today() - timedelta(a) #应复习的时间点 print...
vscode中使用mingw-w64运行c++程序 MinGW-w64 与 MinGW 的区别在于 MinGW 只能编译生成32位可执行程序,而 MinGW-w64 则可以编译生成 64位 或 32位 可执行程序。vscode中使用mingw-w64运行c++程序的教程见下方链接:https://code.visualstudio.com/docs/cpp/config-mingw...
C++ 中设置输出的精度 C++设置小数点后保留位数的代码如下: double a = 12.123; cout << "1: " << a << endl; cout.setf(ios::fixed); //使用固定符号生成浮点类型 cout.precision(2); //设置小数点精度为两位 cout << "2: " << a &...