HaiYang_Gao的博客

原创 （三）ubuntu终端第一次提交git

1、步骤：git config --global user.email “邮件地址”git config --global user.name “名字”git add .git commit -m “改动说明”git push2、命令说明：step1和step2的’–global‘如果省略，那么下次在新仓库（第一次）提交代码时，还需要执行step1和step2。(建议使用’–g...

原创 （二）ubuntu下git clone...没有权限时，添加密钥操作

从git克隆无权限—>克隆成功过程及命令示意图具体步骤：生成公钥命令：ssh-keygen（而后三次回车，即让公钥文件存放在默认位置）cat ~/.ssh/cat ~/.ssh/id_rsa.pub复制生成的公钥（ssh-rsa…）在git仓库里新建一个公钥，把公钥复制进去就可以了 git新建公钥：登录git，鼠标移到右上角头像上，在下拉列表中，点击设置， 选择ss...

原创 （一）ubuntu常用的一些命令和踩过的坑

ubuntu下python解释器版本的切换alias python=python3默认python版本的设置sudo update-alternatives --config python然后键入版本前的序号即可完成默认版本的切换python3下同时有python3.5和python3.6情况时：sudo update-alternatives --install /usr/bin/p...

原创 （十）文本embedding的相关操作

1. glove转为word2vec两句代码，from gensim.scripts.glove2word2vec import glove2word2vecglove2word2vec('glove.840B.300d.txt', 'test.txt')# 参数（glove文件路径,目标位置）2. torchtext生成embeddingimport torchimport nu...

原创 （九）jieba分词后，无法去除停用词的解决方法

问题原因：编码问题1、测试codeimport chardetif __name__ == '__main__': f = file2file() s = '中国是个好地方，我住在这里。' stopwords = set(sum(f.readtxt('../data/HITstopwords.txt'), [])) # 查看s字符集 s_charse...

原创 （八）文件类型or变量类型的转换code（持续更新）

.csv数据转为.jsonimport pandas as pddata = pd.read_csv('file1.csv')# 以列号为字典，构建json数据data.to_json('file2.json',orient='index',force_ascii=False)

原创 （七）一个实例（抽行，抽列，构建字典，统计分析数据）

直接上code，供我以后参考，两个小部分code1: commons.py# 打开文件，默认为"读文件"def open_file(filename, mode='r'): return open(filename, mode, encoding='utf-8', errors='ignore')# 读入数据，默认分割符为','def read_file(filename, ...

原创 （六）文本文件预处理

下面是有关处理文本文件的小结1、强烈推荐把open函数写出自定义的函数，一般用来读文件，在写文件时调用时，会体现这样写的方便性。def open_file(filename, mode='r'): return open(filename, mode, encoding='utf-8', errors='ignore')2、具体读文件中的操作：这是一个很自定义的函数，处理不同的文件...

原创 （五）对百度地图Web API中requests返回对象的处理

1、requests.get(url)的返回对象调试ing.png一行代码temp = requests.get(url).text可以很容易的“get”到url中的如“content”、“text”等等东西2、关于获得的str类型数据的处理1.直接把返回的json对象转为dict来进一步访问: # req_dict = requests.get(url).json()...

原创 （四）百度地图开发平台介绍&调用Web API

待做

原创 Class 20：策略估计

原创 Class 19：微分动态规划

原创 Class 18：线性二次型调节控制

原创 Class 17：离散与维度灾难

原创 Class 16：马尔可夫决策过程

原创 Class 15：奇异值分解

原创 Class 14：主成分分析法（PCA）

原创 Class 13：高斯混合模型

原创 Class 12：k-means算法

原创 Class 11：贝叶斯统计正则化

原创 Class 10：特征选择

原创 Class 9：经验风险最小化

原创 Class 8：顺序最小优化算法

原创 Class 7：最优间隔分类器

原创 Class 6：朴素Bayes；神经网络（NN）；SVM

原创 Class 5：生成学习算法

原创 Class 4：牛顿方法

原创 Class 3：欠拟合与过拟合

原创 Class 2：梯度下降推导

原创 Class 1：笔记封面

学习心得

原创 Class 0：学习心得与总结

我始终相信技术总有一天会实现广泛地免费共享，虽然这条路还很远。记录这个入门学习过程，本质只是为了给自己看，督促自己。但是如果也能够给他人提供一些参考，哪怕是一点点，我也会感到开心。等我50岁了，也许已经不在这个行业了，但当我回头看这件小事儿的时候，看看年轻时候的我，我想我应该会有一丝丝开心吧！记录生活，记录成长，记录短暂又希望丰富的人生。...

原创 （三）计算TF-IDF的值

1、假设（1）共有m篇文档（2）第i篇文档，包含Ki个词（3）第i篇文档，词j出现的次数，记为Ci,j（4）含有词j的文档一共有Lj篇2、数据解释TF：Term frequency（词频）：某个词在该文档中出现的频率IDF：Inverse document frequency（逆文档频率）：总文档数m与含有词i的文档数的比值的对数3、计算：以第i篇文档中的词j为例TF = Ci...

原创 （二）依据词频，构造词汇表（单个字符级）

步骤：1.打开文件test1.txt2.读取文件3.筛选test1中高频词（含标点，空格），构成词汇表代码import sysfrom collections import Counterimport numpy as ndef open_file(filename, mode='r'): return open(filename, mode, encoding='ut...

原创 （一）打开、读取文件

（1）**读取文件**小记1.strip()和split()函数要依据文本实际情况，灵活使用2.打开模式mode参数要注意一下3. 编码标准也要注意4.with语句的使用注意一下5.list的常用方法6.注意打开、读取文件中可能出现的异常与处理def open_file(filename): return open(filename, mode='r', encoding='utf-8'...

原创 ubuntu desktop下为neo4j安装APOC插件的步骤及配置

1、APOC下载地址： https://github.com/neo4j-contrib/neo4j-apoc-procedures/releases/3.4.0.1 只要下载.jar这一个压缩文件就好了，将下载好的.jar文件直接放到neo4j安装目录下的plugins文件夹目录下就可以了。不要解压！！！，不要另外新建文件夹。如下图 2、这样插件APOC就已经在neo4j中了，但因为还...

原创 ubuntu desktop下neo4j配置文件的修改

在成功安装了neo4j之后，打开其安装目录下conf文件夹中的neo4j.conf。找到以下几处地方，并去掉注释，这样浏览器才能连接上neo4j。 还有一处最好也提前去掉注释，因为以后还是会将它取消注释 这几处的注释都去掉后，保存一下，退出就可以了。重启一下neo4j，这样在浏览器中就可以连接上neo4j了。同样在Pycharm中也可以通过py2neo包来操作这个数据库了。li...

原创 PyCharm Community Edition 2018.2 x64版本下，导入或添加各类python包

1、新建工程时，选择设置好当前工程的python解释器路径为自己安装的python的路径，Pyacharm就会自动扫描到当前解释器下的所有可用的模块，以列表形式显示在解释器下方（包括当前版本和最新版本）。 File->Settings->Project:工程名字->Project Interpreter。 2、点击“齿轮按钮(工具)”->Add-&

原创 windows8.1（64位）使用Pycharm连接neo4j前，neo4j的界面简介和配置

1、

原创 python3.4.4中安装py2neo模块

为了用python连接上neo4j数据库，我们需要导入一个外部的模块py2neo，此模块python本身是没有的。1.打开dos，直接pip3 install py2neo 这样安装的就是最新的模块了，目前是4.0了，安装其他模块numpy等等也是这样。 当然，你要想安装自己要的那个版本的模块，可以在后面加上版本号， 如：pip3 install py2neo 3.1.2 pip3是p...

原创 windows8.1（64位）下neo4j desktop的安装与配置

1、下载地址：https://neo4j.com/download/，点击“DOWNLOAD”。 2、点击完后，跳转到一个填写信息的界面，如下，随便填填，不用填真实信息，填完后再点“Download Desktop”。网速好的话，可以自动下载，网速不行的话，网页会提示你点击一下链接（click here之类的提示）。 3、下载完成后，双击安装文件，你可以选择给什么用户安装这个软件，我选...