Taoist_Nie-CSDN博客

原创存储结构与磁盘划分

存储结构与磁盘划分文件目录Linux 系统中的一切文件都是从“根（/）”目录开始的，并按照文件系统层次化标准（FHS）采用树形结构来存放文件Linux 系统中常见的目录名称/boot: 开机所需文件—内核、开机菜单以及所需配置文件等/dev: 以文件形式存放任何设备与接口/etc: 配置文件/home: 用户家目录/bin: 存放单用户模式下还可以操作的命令/lib: 开机时用...

2019-06-10 10:50:49 310

原创用户身份与文件权限

用户身份与文件权限用户身份与能力用户UID: Linux 系统中， UID 就相当于我们的身份证号码一样具有唯一性，因此可通过用户的 UID 值来判断用户身份管理员 UID 为 0：系统的管理员用系统用户 UID 为 1～999： Linux 系统为了避免因某个服务程序出现漏洞而被黑客提权至整台服务器，默认服务程序会有独立的系统用户负责运行，进而有效控制被破坏范围普通用户 UID 从...

2019-06-09 11:29:13 249

原创计划任务服务程序

计划任务服务程序Linux 在无需人为介入的情况下，在指定的时间段自动启用或停止某些服务或命令一次性计划任务 : 一般用于满足临时的工作需求。我们可以用 at 命令实现这种功能eg:1.创建一个定时任务at 23:30at > systemctl restart httpdat > 此处请同时按下 Ctrl + D 组合键来结束编写计划任务2.查看已有的定时任务at...

2019-06-09 11:28:53 298

原创 vim编辑器

vim编辑器编辑文本vim (文件名)命令模式：控制光标移动，可对文本进行复制、粘贴、删除和查找等工作dd: 删除（剪切）光标所在整行5dd: 删除（剪切）从光标处开始的 5 行yy: 复制光标所在整行5yy: 复制从光标处开始的 5 行p: 将之前删除（dd）或复制（yy）过的数据粘贴到光标后面u: 撤销上一步的操作输入模式：正常的文本录入通常按 I 键进入末行模式：保存...

2019-06-09 11:28:34 236

原创 linux常用命令总结

常用命令总结常用系统工作命令1.echo: 打印变量或字符串echo (字符串 | 变量)2.reboot: 重启系统由于重启计算机这种操作会涉及硬件资源的管理权限，因此默认只能使用 root 管理员来重启reboot3.ps : 用于查看系统中的进程状态ps (选项)-a:显示所有进程（包括其他用户的进程）-u:用户以及其他详细信息-x:显示没有控制终端的进程进程状态:...

2019-06-09 11:28:07 327

转载 PCA算法数学原理

转载 :http://blog.codinglabs.org/articles/pca-tutorial.htmlMore Actions PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是...

2019-04-15 21:35:15 263

原创 DeepLearning: 搭建多层神经网络

一步一步搭建多层神经网络识别猫导入包import numpy as npimport h5pyimport matplotlib.pyplot as plt工具函数sigmoiddef sigmoid(Z): ''' cache - as activation_cache ''' A=1/(1+np.exp(-Z)) cache=Z...

2019-03-10 21:16:46 383

原创 K-means算法小结

k-means算法是经典的聚类算法. 我自己手写了一个k-means++的放在后面, 效果似乎不太好 , 希望大佬指点sklearn实现import numpy as np import matplotlib.pyplot as pltimport seaborn as snsfrom sklearn.datasets.samples_generator import make_blob...

2019-03-04 19:04:35 298

原创支持向量机算法小结

sklearn实现自己用手动实现了一下, 只能说是展示了算法过程 ,但是效果很差 , 没有找到原因, 希望大神斧正!!!from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitimport pandas as pdimport numpy as np # 构造数...

2019-02-24 17:00:29 222

原创 DeepLearning: 搭建单隐层神经网络对非线性数据分类

搭建单隐层神经网络对非线性数据分类我通过增加单隐层的神经元数 , 以及改变单隐层的激活函数的方式 , 探索了隐层对神经网络的影响. 通过训练发现 : 隐层的神经元数越多,模型对数据的拟合度越大 ,复杂度越高 , 并且容易出现过拟合 , 需要后期进行正则化. 对于隐层的激活函数, 我分别用了 tanh函数和Relu(线性修正单元), 通过训练后发现: 使用tanh函数作为激活函数准确率要高于Rel...

2019-02-10 17:47:29 480

原创 DeepLearning：搭建简易神经网络识别猫

我们要做的事是搭建一个能够【识别猫】的简单的神经网络import numpy as npimport matplotlib.pyplot as pltimport h5py数据处理def load_dataset(): train_dataset = h5py.File('train_catvnoncat.h5', "r") # 保存的是训练集里面的图像数据...

2019-01-30 14:36:54 563

原创决策树算法小结

sklearn实现from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifierimport numpy as np import pandas as pd# 加载iris数...

2019-01-28 16:36:44 166

原创逻辑回归算法小结

自己手撸了一遍并做了可视化，又用sklearn实现了一遍，以备遗忘。sklearn实现逻辑回归from sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitimport pandas as pdimport numpy as npdf=pd...

2019-01-24 22:42:12 489

原创最优化方法之牛顿法

最优化方法之牛顿法最近在做期末总结复习这学期学过的模型算法，复习到逻辑回归的时候，看到西瓜书上用到的优化方法除了梯度下降法以外，还提到了牛顿法。于是我花了点时间看了一下牛顿法的相关实现，特此记录，以备遗忘。牛顿法的简单推导牛顿法可以理解为一种求零点的方法，也就是求方程的解。用几何的思维理解：可以想象在有一条曲线 f(x)，与 x 轴相交于一个点，我们称为曲线的根点记为 x* 。此时我们在曲线...

2019-01-04 11:16:21 1797

原创线性回归算法小结

线性回归算法使用小结利用sklearn实现最小二乘法from sklearn.linear_model import LinearRegressionfrom sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitimport pandas as pd# 加载内置...

2018-12-28 19:31:11 515

转载 python时间处理

本节内容前言相关术语的解释时间的表现形式 time模块 datetime模块时间格式码总结前言在开发工作中，我们经常需要用到日期与时间，如：作为日志信息的内容输出计算某个功能的执行时间用日期命名一个日志文件的名称记录或展示某文章的发布或修改时间其他 Python中提供了多个用于对日期和时间进行操作的内置模块：time模块、datetime模块和calendar模块。其中t...

2018-12-15 15:11:44 221

原创特征向量化之one-hot(独热编码)

特征向量化之one-hot(独热编码)one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位。例如：import pandas as pdimport numpy as npdata=pd.DataFrame({'feature_1':[1,2,3,4,5], 'feature_2...

2018-12-09 22:06:08 2374

原创网络爬虫学习第八弹：文件存储

文件存储open()方法用open(‘file path’,‘open mode’,encoding=’’)构造一个file对象file对象的方法file.read([size])：size 未指定则返回整个文件，如果文件大小 >2 倍内存则有问题，f.read()读到文件尾时返回""(空字串)。file.readline()：返回一行。file.readlines([size]...

2018-11-22 15:05:29 251

原创网络爬虫学习第七弹：pyquery库使用

pyquery的使用pyquery能够很好的利用CSS选择器对网页进行解析和查询初始化1.字符串初始化html='''<div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href=&

2018-11-18 11:46:13 257

原创 python重构二叉树

重构二叉树要求：输入前序遍历和中序遍历，重构二叉树，并输出后序遍历。思路：1.找出前序遍历中第一个值，即根节点，并记录它在中序遍历中的位置。2.找出根据根节点，将中序遍历分为左子树中序遍历和右子树中序遍历，并根据1中记录的位置分别得到子树的前序遍历。3.判断子树的前、中序遍历是否为空。4.是返回None，否递归调用1,2,3步。5.返回二叉树。# 类Tree用于存放二叉树的三个属性...

2018-11-17 15:59:14 679

原创网络爬虫学习第六弹：BeautifulSoup库使用

BeautifulSoup库使用BeautifulSoup库是python的一个HTML解析库，可以利用它来提取网页中的数据from bs4 import BeautifulSoup# BeautifulSoup依赖第三方解释器，在初始化BeautifulSoup时第二个参数改为lxml，即用lxml解释器soup=BeautifulSoup('<p>Hello</p&g...

2018-11-13 14:31:42 217

原创网络爬虫学习第五弹：lxml库的使用

lxml库使用我们可以利用python中的lxml库来使用Xpath对HTML文档进行搜索。选取节点：nodename 选取此节点的所有子节点。/ 从根节点选取。// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。. 选取当前节点。… 选取当前节点的父节点。@ 选取属性。from lxml import etreetext='''&lt;div&gt;&lt;...

2018-11-10 11:27:32 2110 1

原创网络爬虫学习第四弹：爬取猫眼电影排行

话不多说直接上代码import requestsimport reimport jsonimport timefrom requests.exceptions import RequestException# 构造请求头，将爬虫伪装成浏览器去请求单个网页的html内容def get_one_page(url): try: headers={ ...

2018-11-06 18:52:09 349

原创网络爬虫学习第三弹：正则表达式

正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。对于爬取网页和文本处理都非常有用。match()match() 方法会尝试从字符串的起始位置开始匹配正则表达式，如果匹配就返回匹配成功的结果，如果一旦从开头就不匹配则返回Noneimport re co...

2018-11-05 22:49:35 116

原创网络爬虫学习第二弹：requests库的使用

requests库使用requests库的功能与之前学习的urllib库类似，但功能更强大，实现也更简洁。下面是基本的使用方法。import requestsr=requests.get("https://www.baidu.com/")print(type(r)) # 打印Response的类型print("---------------------")print(r.status...

2018-11-05 22:45:13 919

原创网络爬虫学习第一弹：urllib库使用

网络爬虫之urllib库使用小道之前有学过一点爬虫，但是面对越来越严峻的就业形势，为了提高自身竞争力，决定系统的学习一下爬虫。用的是崔庆才大大的书。写博作为自己的学习笔记，方便以后复习。欢迎高人补充赐教！小道感激不尽！import urllib.requestresponse=urllib.request.urlopen(&amp;amp;quot;https://www.python.org&amp;amp;quot;)#print(r...

2018-11-01 20:47:51 413

原创逻辑回归-信用卡欺诈检测

观察数据import pandas as pdimport matplotlib.pyplot as pltimport numpy as np导入数据并查看前5行data=pd.read_csv('creditcard.csv')data.head() Time V1 V2 V3 V4...

2018-10-29 16:08:42 424

原创机器学习之决策树算法

决策树算法基本概念决策树算法，顾名思义，是基于树结构来进行决策过程。譬如我们判断一个西瓜好坏，会先从它的色泽，再从它的敲声等等来从上至下进行判断，逻辑过程类似于一颗倒着生长的大树。由于决策树的思路很像我们人在做判断，具有很好的解释性，在医疗等很多领域应用广泛。决策树是由根节点（第一个选择点）、非叶子结点与分支（中间过程）、叶子节点（决策结果）三部分组成。一棵决策树由若干内部节点和若干叶子节点...

2018-10-17 22:31:47 255

原创分类可视化实践

对分类问题进行简单可视化导入数据import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata=pd.read_csv('LogiReg_data.txt',header=None,names=['Exam 1','Exam 2','Admitted'])data.head() ...

2018-10-15 09:17:59 1690 1

原创贝叶斯拼写检查器

利用朴素贝叶斯实现简单拼写检查器个人理解：思路：人们通常将单词写错会有四种形式：多字母，少字母，错字母，相邻字母顺序写错。而这四种形式将单词写错的过程是可逆的，也就是正确的单词放进去会变成错词。同样将错词放入也会在返回的集合中找到正确的词，根据这样的特性就能实现拼写检查。注：如上述，小道愚昧，并未看出代码的思想与贝叶斯有关，望高人看到指点一二，小道感激不尽！import re im...

2018-10-14 21:41:53 433 1

原创机器学习之朴素贝叶斯分类器

朴素贝叶斯分类器贝叶斯决策论是概率框架下实施决策的基本方法贝叶斯公式P(B∣A)=P(A∣B)P(B)P(A)P(B|A)=\dfrac{P(A|B)P(B)}{P(A)}P(B∣A)=P(A)P(A∣B)P(B)对于贝叶斯公式来讲，我们是通过求出先验概率P(B)P(B)P(B) 和类条件概率P(A∣B)P(A|B)P(A∣B)来确定后验概率P(B∣A)P(B|A)P(B∣A) ，通过估...

2018-10-14 20:35:56 134

原创新闻分类任务(LDA模型，多项分布朴素贝叶斯）

新闻分类任务1.利用gensim建立LDA模型将文本进行主题分类2.利用多项分布朴素贝叶斯将文本进行分类数据来源：http://www.sogou.com/labs/resource/list_pingce.phpimport jiebaimport pandas as pdimport numpy as np读取文本：将新闻文本转换为dataframedf_news=pd.re...

2018-10-14 15:18:49 3795 6

原创树莓派3B+安装opencv视觉库

树莓派3B+ 安装opencv3（3.4.1）安装过程更换软件源（清华源）（1）使用管理员权限，编辑/etc/apt/sources.list文件，参考如下命令：sudo nano /etc/apt/sources.list用 # 注释掉原文件内容，用以下内容取代：deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ st...

2018-10-14 10:28:40 737

原创准确率，精度与召回率

准确率,精度与召回率假设某鱼塘有100条鱼，鲤鱼80条，鲫鱼20条，目标是捕到所有鲫鱼。让某人捕50条鱼，其中20条是鲫鱼，另外30条鲤鱼也当做鲫鱼被捕到。评估此人工作。 TP（True Positive）：被判定为正样本，事实上也是证样本。TN（True Negative）：被判定为负样本，事实上也是负样本。FP（False Positive）：被判定为正样本，但事实上是负样本。...

2018-08-20 12:11:15 7023

原创对于期望风险与经验风险的粗浅理解

2018-08-12 21:47:56 1285

原创统计学习方法笔记三

统计学习方法笔记(三)1.7生成模型与判别模型监督学习的任务就是学习一个模型，应用这一模型，对给定的输入，预测相应的输出。这个模型一般形式为决策函数：Y=f(X)Y=f(X)Y=f(X)或者条件概率分布：P(Y|X)P(Y|X)P(Y|X)监督学习方法又可以分为生成方法和判别方法，所学的模型分被称为生成模型和判别模型。生成方法由数据学习联合分布律P(X,Y),然后求...

2018-08-12 21:47:29 122

原创统计学习方法笔记二

统计学习方法笔记(二)1.4模型评估与模型选择训练误差与测试误差假设学习到的模型是：Y=f^(X)Y=f^(X)Y=\hat{f}(X)训练误差是模型关于训练数据集的平均损失:Remp(f^)=1N∑Ni=1L(yi,f^(xi))Remp(f^)=1N∑i=1NL(yi,f^(xi))R_{emp}(\hat{f})=\frac{1}{N}\sum^N_{i=1}...

2018-08-12 21:47:03 142

原创统计学习方法笔记一

统计学习方法笔记(一)1.1实现统计学习方法的步骤1.得到一个有限的训练数据集。2.确定包含所有可能的模型的假设空间，即学习模型的集合。3.确定模型选择的准则，即学习策略。4.实现求解最优模型的算法，即学习方法。5.通过学习方法选择最优化模型。6.利用学习的最优化模型对数据进行预测或分析。1.2监督学习输入变量与输出变量（表示方法按主流表示）...

2018-08-12 21:46:31 164

原创吴恩达机器学习线性回归代价函数推导

多元线性回归的代价函数推导决策函数：hθ(x)=θ1x1+θ2x2+...+θnxn=∑ni=1θixi=θTxhθ(x)=θ1x1+θ2x2+...+θnxn=∑i=1nθixi=θTxh_{\theta}(x)=\theta_1x_1+\theta_2x_2+...+\theta_nx_n=\sum_{i=1}^{n}\theta_ix_i=\theta^Tx令有m个样本，对于每个...

2018-08-12 21:45:26 1884

原创机器学习初探

机器学习初探刚开始学习机器学习，希望通过博客来记录自己学习成长的一点一滴。菜鸟一枚，如若有理解偏差的地方，欢迎各位大佬提出斧正，小道在此感激不敬！1.监督学习对机器学习来说，监督学习就是通过已知特征和标签的数据集训练机器，让机器能够自己找出特征与标签之间的规律。在面对没有标签只有特征的时候，可以凭借之前训练的规律，找出标签。回归问题这是监督学习的...

2018-08-12 21:44:18 133

空空如也

空空如也