- 博客(64)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 关于selenium获取cookie然后实现免登录
这几天一直想搞明白cookie的爬虫使用，结果从昨天晚上开始试验，selenium获取的cookie怎么也无法实现直接登录，气的想打人。在刚才终于发现一些问题，在和浏览器中的cookie对比发现格式不一样，然后对着他进行格式改变，结果终于成功了，现在以一个模拟登录扣扣空间的例子：这是模拟点击登录扣扣空间我请求的这个网址是在分析的时候发现的，发现登录二维码是在一个这样的页面里，这...
2018-06-06 12:21:54
66098
12
原创 Flink单机启动显示0 Task Slots(VM option ‘UseG1GC‘ is experimental and must be enabled via -XX:+UnlockExpe)
按照官网教程安装了Flink1.11.6， 但是访问web UI的时候显示0个Task Slots。
2023-11-02 16:40:10
1257
原创 K8s的Pod出现Init:ImagePullBackOff问题的解决(以calico为例)
这里以calico插件安装为例，发现有个Pod的镜像没有pull成功。
2023-08-28 17:31:18
11417
9
原创 vscode的sftp插件同步失败no such file的问题
背景信息安装sftp插件就是为了能够让vscode可以将本地代码同步到服务器上，这个功能和pycharm的deployment功能一个样，因此安装插件vscode需要安装插件来实现这个功能通常我们会安装排行第一的插件，但是我们发现安装这个排名第一的插件就会出现上述问题，这是因为这个插件已经不再维护更新了，和vscode版本已经冲突了，这个时候我们安装排名第二的插件这个插件是保持更新，其实我们也可以根据这个插件的介绍知道，这个插件其实是排名第一插件的继续更新版本，因此安装这个插件即可.
2021-12-01 15:34:01
3718
原创 将文本格式转为kindle可用格式
前言这里的kindle是指kindle app，在上面看书，但是其对格式要求比较苛刻主要讲述将txt文件、epub文件转化为mobi格式文件txt转mobi首先下载软件，百度云链接在下，失效可以联系我提取码:58he1 打开软件效果如图所示2 举例按照正则表达式时要根据txt的内容来写规则，规则也非常简单，按照我的模板套就行这里每个章节的格式为:第x章，那么正则表达式就可以写为第.*?章这里.*?表示匹配尽可能少的内容这里举一个简单的案例epub转mobiepub文件转化为
2021-02-14 20:01:36
2623
原创 Pycharm远程调试服务器程序
参考文章如何通过pycharm实现远程代码的调试和开发环境pycharm：专业版2020.1(对于社区版是否支持远程调试暂且不知)本机：win10服务器：centos，安装anaconda3远程调试的简单流程简单来说就是一个与服务器进行文件传送。先从服务器下载源程序，然后本地修改，然后再上传到服务器…开始准备第一步首先在本地创建一个文件夹来存放服务器上的代码D:/code/remote_service/pytorch_test点击file->settings，找到如图示所示的页
2021-01-17 13:26:23
478
5
原创 将win10修改全局字体为苹方字体
文章目录字体分享使用软件注册表修改获取字体名称效果展示字体分享百度云链接提取码：loyr若是失效的化可以私信我。使用软件noMeiryoUI使用这个软件，直接选择合适的字体，然后统一设定，这样其实只能修改系统上部分的字体为苹方字体，例如网页上的字体，注册表修改这种方式基本上可以实现全局修改，这个方法的原理就是"偷梁换柱"，win中的字体默认是微软雅黑，通过注册表方式将其替换为苹方字体这是百度云分享的文件内容，我安装了多个，但是使用了三个使用win+R，输入regedit来打开注
2021-01-10 23:11:46
21001
7
原创 Microsoft Edge、Chrome 常用快捷键（含MAC系统）
参考地址微软官网地址因为使用 Chromium 内核的新版Edge，所以快捷键和Chrome基本相同常用快捷键操作快捷键Crtl + D将此网页存储为书签Crtl+E在地址栏中打开搜索查询Crtl+F页面查找Crtl+G与页面查找相配合，匹配到下一项Crtl+Shift+G匹配上一项Crtl+H打开历史记录Crtl+J打开下载列表Crtl+L对地址栏URL进行编辑Crtl+M对当前标签页静音(页面播放视频或音乐时有
2020-12-22 13:15:12
3419
原创 Visio常用快捷键
快捷键含义操作1. 复制按ctrl+拖动2. 水平/垂直复制按ctrl+shift+ 拖动（水平/垂直）3. 水平/垂直移动按shift+拖动4. 放大ctrl+滚轮5. 键拖动幕布ctrl+alt+鼠标右6. 水平滚动画布shift+滚轮7. 垂直滚动画布alt+滚轮8. 选择工具ctrl+19. 文字工具ctrl+210. 连接线ctrl+311. 图章工具crtl+shift+312. 铅笔工
2020-12-17 19:42:34
3490
1
原创 VSCode常用快捷键
编辑器与窗口管理含义操作新建文件Ctrl+N文件之间切换Ctrl+Tab打开一个新的VS Code编辑器Ctrl+Shift+N关闭当前窗口Ctrl+W关闭当前的VS Code编辑器Ctrl+Shift+W切出一个新的编辑器窗口（最多3个)Ctrl+\切换左中右3个编辑器窗口的快捷键Ctrl+1 Ctrl+2 Ctrl+3代码编辑格式调整含义操作代码行向左或向右缩进Ctrl+[ 、 Ctrl+]
2020-12-16 20:50:05
259
原创 terminal采用公钥免密访问服务器
在使用ssh远程访问服务器一般都要输入密码，这次将此主机生成的公钥放入到服务器上，即可直接登录，无需输入密码，我这里是指使用terminal或者cmd等终端进行ssh登陆，并不是使用xshell6的登陆参考连接【GIT】git连接通过ssh连接githubWindowsTerminal内添加阿里云服务器（SSH）本机(win系统)本机生成rsa的私钥和公钥因为这个rsa准备也用于github，所有输入以下命令，然后一路enter就行Enter passphrase是设置密码用于保护私钥，你可
2020-12-13 09:25:17
1203
原创 Ubuntu18.04配置Jupyter
这个教程主要是在一个全新的服务器上，从账号创建到配置环境，再安装anaconda，配置jupyter环境Ubuntu 18.041. 配置环境创建用户useradd -r -m -s /bin/bash docker参数说明：-r：建立系统账号-m：自动建立用户的登入目录-s：指定用户登入后所使用的shell设置密码passwd kedaxia将用户加入到sudoers中sudo vi /etc/sudoers2. 安装anaconda2.1下载anaconda从清华源
2020-12-12 21:57:28
946
2
原创 Pytorch的可视化工具tensorboardX
推荐直接看我写的两个链接，GitHub地址Pytorch使用tensorboardX可视化。超详细！！！Tensorboard的Github安装pip install tensorboardX示例建议直接将Github下载到本地，然后运行examples文件夹中的示例import torchimport torchvision.utils as vutilsimport numpy as npimport torchvision.models as modelsfrom torch
2020-12-07 23:08:03
2310
原创 爬虫常用的浏览器请求头
USER_AGENTS = ['Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
2020-11-19 19:34:33
2229
原创 BERT模型原理的详细介绍
【NLP】Google BERT模型原理详解 - rumor的文章 - 知乎1. BERT模型BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为Decoder是不能获要预测的信息的。BERT = Encoder of Transformer模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词
2020-11-15 21:22:03
8855
原创 详解Transformer
Transformer中完全抛弃了传统的CNN和RNN，整个网络结果完全是由Attention机制组成。更准确地讲，Transformer由且仅由self-Attention和Feed Forward Neural Netword组成。一个基于Transformer的可训练的神经网络通过堆叠Transformer的形式进行搭建，作者的实验是通过搭建编码器和解码器各6层，总共12层的Encoder-Decoder，并在机器翻译中取得了BLEU值的新高。采用attention机制的原因RNN(或者LST
2020-11-15 19:51:51
2151
原创 pytorch 方法笔记
torch.Tensor.scattersc官网地址pytorch中torch.Tensor.scatter用法scatter_(dim, index, src, reduce=None) → Tensor参数dim：维度，可以是0，1，2…，表示只在第dim维进行修改index：索引数组，tensor，数据类型为整数，表示位置src:原数组，reduce示例import torch >>>input = torch.randn(2, 4)>>&g
2020-11-13 19:33:45
599
原创 pytorch.max()的详细解释
网上大多数对max的解释只停留在二维数据，在三维及以上就没有详述，我将对二维数据和三维数据进行详细解释，让你不再有疑虑并没有总结具体意思，直接根据详细示例也就明白含义了参考文章torch.max()使用讲解torch.max(input, dim, keepdim=False, *, out=None) -> (Tensor, LongTensor)在分类问题中，通常使用max()函数对softmax函数的输出值进行操作，求出预测值索引参数input:softmax函数输出的一个t
2020-11-13 14:56:31
1997
原创 centos7 配置anaconda及anaconda常用命令
参考文章CentOS7上安装anaconda3及其遇到的问题Linux系统Anaconda环境的安装/创建/激活/删除/管理安装anaconda下载包wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-4.3.0-Linux-x86_64.sh会将anaconda下载到当前路径，读者可以在希望的路径上运行此命令安装bash anaconda3.5.2.0-Linux-x86_64.sh遇到问题
2020-11-10 22:33:45
1883
原创 Deep Learning中的Attention Mechanism介绍
文章目录参考文章Attention 机制的解析1. 为什么引入attention机制？2. Attention机制有哪些?3. Attention机制的计算流程是怎么样?4. Attention机制的变种有哪些？①. 硬性注意力②.键值对注意力③. 多头注意力5. 为什么自注意力模型(self-Attention model)在长距离序列中如此强大？卷积或循环神经网络难道不能处理长距离序列吗？自注意力模型（self-Attention model）计算过程6. Attention机制的应用参考文章目前主
2020-11-07 16:29:22
1669
原创 pandas.DataFrame将行(index)和列(column)进行转置
原始数据data = [['AMB_TEMP', '14', '14', '14', '13', '12', '12', '12', '12', '15', '17', '20', '22', '22', '22', '22', '22', '21', '19', '17', '16', '15', '15', '15', '15'], ['CH4', '1.8', '1.8', '1.8', '1.8', '1.8', '1.8', '1.8', ...
2020-11-04 20:08:43
3350
原创 基于二阶近似方法的优化算法
参考文章深度学习(花书)梯度下降法、牛顿法和拟牛顿法 - Eureka的文章 - 知乎梯度下降法与牛顿法比较 - 王多鱼的文章 - 知乎【最优化】无约束优化方法-牛顿法 - 忆臻的文章 - 知乎泰勒公式-百度百科二阶梯度方法使用二阶导数改进了优化，最广泛使用的时牛顿法牛顿法思想用目标函数的二阶泰勒展开近似该目标函数，通过求解这个二次函数的极小值来求解凸优化的搜索方向牛顿法的主要应用在两个方面:1.求方程的根；2. 最优化预备知识一元泰勒展开式此次使用一元泰勒展开式
2020-11-04 14:04:53
2321
1
原创 netstat命令详解
命令是一个监控tcp/ip网络的工具，他可以显示路由器、世纪的网络连接以及每一个网络接口设备的状态信息netstat 【选项】-a或--all：显示所有连线中的Socket； -A<网络类型>或--<网络类型>：列出该网络类型连线中的相关地址； -c或--continuous：持续列出网络状态； -C或--cache：显示路由器配置的快取信息； -e或--extend：显示网络其他相关信息； -F或--fib：显示FIB； -g或--groups：显示多重广播功能群组
2020-11-02 22:43:41
616
原创 sklearn笔记之preprocessing
这个模块主要是对数据的预处理，例如标准化，中心化，scaling，二值化等官方文档介绍此模块的作用sklearn的中文文档StandardScaler官方地址sklearn.preprocessing.StandardScaler(*, copy=True, with_mean=True, with_std=True)对数据进行标准化z=x−μσz = \frac{x-\mu}{\sigma}z=σx−μ参数with_mean:bool,default=True是否使用平均值，Fa
2020-11-02 22:16:46
1226
1
原创 Word2Vec 与 Word Embedding的关系
文章目录0、参考文章一、 DeepNLP的核心二、 NLP词的表示方法类型1. One Hot Representation2、 Distributed Representation如何将语义融入到词表示中？如何利用上下文三、 NLP语言模型四、词的分布式表示1. 基于矩阵的分布表示2. 基于聚类的分布表示3. 基于神经网络的分布表示五、 词嵌入(Word Embedding)1、概念2、理解六、 神经网络语言模型与word2vec七、扩展知识0、参考文章秒懂词向量Word2vec的本质通俗理解wo
2020-11-02 12:16:46
1629
1
原创 TF-IDF算法的介绍
文章目录1、TF-IDF算法介绍TF词频(Term Frequency)1、TF-IDF算法介绍 ~~~~ TF-IDF(term frequency-inverse document frequency,词频-逆向文件频率)是一种用于信息检索(infomation retrieval)与文本挖掘(test mining)的常用加权技术。 ~~~~ &n
2020-11-01 19:24:50
1228
原创 机器学习之特征选择(feature_selection)
文章目录选取特征子集选择过程1. 子集搜索（subset search）2. 子集评价(subset evaluation)特征选择方法1. 过滤式(Filter)ReliefRelief-F2.包裹式(wrapper)LVM3.嵌入式(embedding)岭回归(ridge regression)LASSO选取特征子集当前存在的问题从初始的特征集合选取包含所有重要信息的特征子集，若没有任何领域知识作为先验假设，那只好遍历所有可能的子集，这实际上并不可行，会遇到组合爆炸，特证数稍多就不行可行
2020-10-30 13:13:21
2347
原创 降维--PCA学习笔记
目录向量表示与基变换1.1 内积1.2 基1.3 基变换的矩阵表示参考文章https://www.zhihu.com/search?type=content&q=PCAPCA（Principal Component Analysis）是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。PCA 的数学推导可以从最大可分型和最近重构性两方面进行前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小这里我将从最大可分性的角度进行证明。向量表示
2020-10-24 22:42:51
645
原创 pandas及numpy笔记
概述此博客将会持续更新，会将numpy、pandas、matplotlib等库进行函数解释，以及示例演示.这博客更像是一个笔记，让你在某些函数记不住的时候来查一下，而不是一本书一样，给你详细的讲解附上官方文档地址数据 所使用的数据集将从下列作为目标使用，可以用这些数据自己实验数据1.1[ ['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '是'], ['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', '是'],
2020-10-23 21:23:06
486
原创 sklearn学习笔记之feature_selection（特征选择）
sklearn中文链接：http://www.scikitlearn.com.cn/0.21.3/14/sklearn官网链接:https://scikit-learn.org/stable/modules/classes.html?highlight=feature_selection#module-sklearn.feature_selection本模块主要是对样本集进行feature_selection(特征选择)和dimensionality reduction(降温)，这将会提高估计器的准确度
2020-10-13 09:37:59
5755
1
原创 pandas.DataFrame对根据某些列对某些列进行修改
df.loc[((df.money< 95) | (df.money> 110)) & (df.type== '2'), 'total'] = 1- 判断条件无论大小一定要用括号括起来，不然会报错- 这样的方式是不正确的,只可以如上所示df.loc[((df.money< 95) | (df.money> 110)) & (df.type== '2')]['total'] = 1...
2020-10-12 20:06:23
3020
2
原创 sklearn学习笔记之preprocessing
官方文档地址参考链接sklearn中文翻译地址：http://www.scikitlearn.com.cn/0.21.3/40/这个模块的主要内容是数据的预处理：scaling：缩放化normalization:标准化binarization 二值化centering：中心化APIBinarizersklearn.preprocessing.Binarizer(*, threshold=0.0, copy=True)作用：将数据进行二值化，若是特征值(feature value)
2020-10-05 13:36:59
725
原创 matplotlib，seaborn等画图工具
概述此博客将会持续更新，会将numpy、pandas、matplotlib等库进行函数解释，以及示例演示.这博客更像是一个笔记，让你在某些函数记不住的时候来查一下，而不是一本书一样，给你详细的讲解数据所使用的数据集将从下列作为目标使用，可以用这些数据自己实验数据1.1[ ['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '是'], ['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', '是'], ['乌黑', '
2020-10-04 19:36:44
1292
原创 数据分析--异常值处理
原文链接：https://blog.csdn.net/qq_41080850/article/details/866958461 什么是异常值？模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点异常点在某些场景下极为重要，如疾病预测，通常健康人的身体指标在某些维度上是相似，如果一个人的身体指标出现了异常，那么他的身体情况在某些方面肯定发生了改变，当然这种改变并不一定是由疾病引起（通常被称为
2020-10-04 18:19:35
19429
1
原创 VS Code 配置C/C++环境
本文在此基础上进行编辑https://www.cnblogs.com/lsgxeva/p/11115650.html前言这一篇博客配置的环境确实是最好用的，之前看过很多博客关于vs配置C环境，看的我晕头转向，但是这篇绝对让大家明明白白楼主环境:win10 64位，LLVM 10.0.0，MinGW-w64 是7.1环境准备下载最新版Visual Studio Code,链接根据自己系统版本选择相应版本下载LLVM，链接如上图所示，选择Pre-Built Binaries中的相应
2020-09-20 10:01:59
7622
2
原创 python题目(1)
一、选择题1．Python语言属于（ ）。C A． 机器语言 B． 汇编语言 C．高级语言 D．科学计算语言2．下列选项中，不属于Python特点的是（ ）。B A．面向对象 B．运行效率高 C．可读性好 D．开源3．Python程序文件的扩展名是（ ）。D A．.python ...
2020-05-04 14:47:07
8838
3
原创 jupyter快捷键、markdown语法及markdown的算式语法
1. jupyter notebook的快捷键2.markdown的符号表示，会继续更新
2020-02-19 22:57:16
3022
原创 linux的ps命令
##PS 命令是什么查看它的man手册可以看到，ps命令能够给出当前系统中进程的快照。它能捕获系统在某一事件的进程状态。如果你想不断更新查看的这个状态，可以使用top命令。ps命令支持三种使用的语法格式UNIX 风格，选项可以组合在一起，并且选项前必须有“-”连字符BSD 风格，选项可以组合在一起，但是选项前不能有“-”连字符GNU 风格的长选项，选项前有两个“-”连字符我们能够混用这...
2019-01-30 11:43:31
2486
1
原创 linux的vi详细命令
讲述vi操作文件的几种命令退出保存命令:w 保存文件但不退出vi:w file 将修改另外保存到file中，不退出vi:w! 强制保存，不推出vi:wq 保存文件并退出vi:wq! 强制保存文件，并退出vi:q 不保存文件，退出vi:q!不保存文件，强制退出vi:e! 放弃所有修改，从上次保存文件开始再编辑##进入vi的命令vi filename :打开或新建文件，并将光标...
2019-01-30 11:40:15
2393
1
hadoop段海涛老师八天实战视频
2018-07-21
大数据相关技术学习视频
2018-07-21
跟着老齐学Django
2018-09-09
python大战机器学习pdf
2018-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人