- 博客(45)
- 收藏
- 关注
RSS订阅原创 神经网络基础
神经网络基础卷积概念：离散卷积的数学公式可以表示为如下形式：f(x) = - 其中C(k)代表卷积操作数，g(i)代表样本数据, f(x)代表输出结果。举例如下：假设g(i)是一个一维的函数，而且代表的样本数为G = [1,2,3,4,5,6,7,8,9]假设C(k)是一个一维的卷积操作数, 操作数为C=[-1,0,1]则输出结果f(x)可以表示为 F=[1,2,2,2,2,2,...
2020-04-05 17:49:03
226
原创 机器学习sklearn
有监督学习：有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。一句话：给定数据，预测标签。无监督学习是机器学习任务的一种。它从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析，它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。一句话：给定数据，寻找隐藏的结构。强化学习是机器学习的另一个领域。它...
2020-03-27 19:49:12
288
原创 隐马尔可夫模型HMM
隐马尔可夫模型HMM隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。当然，随着目前深度学习的崛起，尤其是RNN，LSTM等神经网络序列模型的火热，HMM的地位有所下降。但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还是很好的。1....
2020-03-23 11:28:28
257
原创 贝叶斯学习
贝叶斯网络（Bayesian network），又称信念网络（belief network）或是有向无环图模型（directed acyclic graphical model），是一种概率图型模型。贝叶斯网络学习数据分析获得贝叶斯网模型，而贝叶斯网络包括参数学习和结构学习。通过贝叶斯网络结构学习得到各节点的依赖关系。在确定贝叶斯网络的结构后，通过参数学习获取各个结点之间依赖关系的定量描述，也就是...
2020-03-19 10:50:49
455
原创 EM（Expectation Maximization 期望最大化）算法和GMM算法
EM（Expectation Maximization 期望最大化）是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。其每次迭代由E、M两步构成。EM算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐含变量。它经过两个步骤交替进行计算：计算期望（E步），基于现有的模型参数（或者随机初始化的模型）对隐含变量的值进行...
2020-03-15 10:30:46
711
原创 聚类Clustering
聚类是数据挖掘中的概念，就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。聚类和分类的区别Clustering (聚类)：聚类的时候，大多数情况下我们并不知道数据有多少类，简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某...
2020-03-14 10:33:47
409
原创 SVM支持向量机
Support Vector Machine学习模型有监督学习：需要事先对数据打上分类标签，这样机器就知道数据属于哪一类。无监督学习：数据没有打上分类标签，有可能因为不具备先验知识，或打标签的成本很高，需要机器代替我们部分完成改工作，比如将数据进行聚类，方便后人工对每个类进行分析。SVM 是有监督的学习模型：可以进行模式识别、分类以及回归分析。SVM工作原理示例： 桌面上有两种颜色混乱...
2020-03-13 16:52:20
183
原创 提升Boost
提升BoostBoosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强...
2020-03-11 10:01:50
268
原创 决策树和随机森林
决策树决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3,C4.5...
2020-03-10 10:43:49
287
原创 线性回归LR
线性回归：考虑多变量线性回归：最小二乘：一般设计技巧：1.最小二乘法的解析式法2.SVD分解：3.梯度下降算法4.批量和随机梯度下降算法5.mini-batch随机梯度下降算法（SGD）损失函数分析：...
2020-03-06 15:44:37
450
原创 数据清洗
数据读取、字符串模糊查找Python提供了强大的包，直接用于各种数据读取，比如pandas，比如读取excel数据，直接：import pandas as pddata = pd.read_excel('sales.xlsx', sheetname='sheet1', header=0)另外，Python还提供了Fuzzywuzzy，可用于模糊查询和替换。如果提供对应的字符串库，则通过F...
2020-03-06 09:41:23
270
原创 Matplotlib对象操作
Matplotlib对象操作子图：import matplotlib.pyplot as pltimport numpy as npx = np.random.randn(10)fig = plt.figure()ax1 = fig.add_subplot(221)ax1.plot(x, x)ax2 = fig.add_subplot(222)ax2.plot(x, -x)...
2020-02-29 16:29:00
235
原创 pandas，numpy数据可视化(matplotlib.pyplot)
数据可视化线图：import numpy as npimport pandas as pdfrom matplotlib import pyplot as plt ts=pd.Series(np.random.randn(1000),index=pd.date_range('20000101',periods=1000))ats=ts.cumsum()ats.describe()O...
2020-02-27 15:52:32
1001
原创 pandas时间序列，时间重采样
时间序列时间模块import numpy as npimport pandas as pdfrom datetime import datetimefrom datetime import timedelta# 获取当前时间now=datetime.now()nowOut[4]: datetime.datetime(2020, 2, 27, 9, 49, 39, 385919)...
2020-02-27 12:12:55
443
原创 pandas数据IO
pandas数据IO读取文件pandas_tutor-master\data\ex1.csvimport pandas as pdpd.read_csv('pandas_tutor-master\\data\\ex1.csv')Out[3]: a b c d message0 1 2 3 4 hello1 5 6 7 8 wor...
2020-02-26 20:25:28
154
原创 pandas分组、聚合计算
pandas分组计算groupby：df=pd.DataFrame({'key1':['a','a','b','b','a'], 'key2':['one','two','one','two','one'], 'data1':np.random.randint(1,10,5), 'data2'...
2020-02-26 17:19:43
195
原创 pandas索引及多级索引
pandas基础运算重新调整索引 reindex：sOut[89]: a 1b 3c 5d 7dtype: int64s.reindex(list('abcdefg'),fill_value=0)Out[96]: a 1b 3c 5d 7e 0f 0g 0dtype: int64dfOut[...
2020-02-25 17:39:06
480
原创 pandas核心数据结构
pandas序列的创建和特性：import numpy as npimport pandas as pd"Series"# 序列（array创建）s = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])print(s)# 字典表创建d = {'a': 0, 'b': 2, 'd': 5}s = pd....
2020-02-25 16:20:29
225
原创 Python_numpy矩阵操作
1.产生多维数组import numpy as npa = np.array([1, 2, 3, 4]) # 一维数组print(a)b = np.array([[1, 2, 3], [4, 5, 6]]) # 二维数组print(b)2.numpy数据类型设定与转换np.array([1,2,3],dtype=np.string_)Out[3]: array([b'1',...
2020-02-23 10:49:53
287
原创 二分查找
# coding:utf-8# [17, 20, 26, 31, 44, 54, 55, 77, 93]# mid = n/2## [17, 20, 26, 31]# mid = n/2def binary_search(alist, item): """二分查找,递归""" n = len(alist) if n > 0: mid ...
2020-02-21 16:50:29
53
原创 二叉树结构
# coding:utf-8class Node(object): def __init__(self, item): self.elem = item self.lchild = None self.rchild = Noneclass Tree(object): """二叉树""" def __i...
2020-02-21 16:48:47
57
原创 排序算法
1.冒泡排序# coding:utf-8def bubble_sort(alist): """冒泡排序""" n = len(alist) for j in range(n-1): count = 0 for i in range(0, n-1-j): # 班长从头走到尾 if alis...
2020-02-18 16:59:30
57
原创 栈与队列
# coding:utf-8class Stack(object): """栈""" def __init__(self): self.__list = [] def push(self, item): """添加一个新的元素item到栈顶""" self.__list.append(item) def p...
2020-02-17 20:04:11
54
原创 链表的实现
# coding:utf-8class Node(object): """节点""" def __init__(self, elem): self.elem = elem self.next = Noneclass SingleLinkList(object): """单链表""" def __init__(self,...
2020-02-17 16:11:30
116
原创 顺序表的基本形式
一.顺序表的基本形式图a表示的是顺序表的基本形式，数据元素本身连续存储，每个元素所占的存储单元大小固定相同，元素的下标是其逻辑地址，而元素存储的物理地址（实际内存地址）可以通过存储区的起始地址Loc (e0)加上逻辑地址（第i个元素）与存储单元大小（c）的乘积计算而得，即：Loc(ei) = Loc(e0) + c*i故，访问指定元素时无需从头遍历，通过计算便可获得对应地址，其时间复杂度为...
2020-02-16 14:40:46
437
原创 时间复杂度
时间复杂度与“大O记法”我们假定计算机执行算法每一个基本操作的时间是固定的一个时间单位，那么有多少个基本操作就代表会花费多少时间单位。算然对于不同的机器环境而言，确切的单位时间是不同的，但是对于算法进行多少个基本操作（即花费多少时间单位）在规模数量级上却是相同的，由此可以忽略机器环境的影响而客观的反应算法的时间效率。对于算法的时间效率，我们可以用“大O记法”来表示。***“大O记法”：**对...
2020-02-16 12:37:53
220
原创 Python调用SQLite(结构化查询语言)
Python调用SQLite(结构化查询语言)：import sqlite3conn = sqlite3.connect('db\\addressbook.db') # 连接对象cusor = conn.cursor() # 游标sql = 'select * from LinkMan' # SQL语言result = cusor.execute(sql)for row in ...
2020-02-15 21:14:49
248
原创 csv文件读写
csv文件读：import csvfrom collections import namedtupledef read(): with open('produ.csv', encoding='utf-8-sig') as f: reader = csv.reader(f) # f句柄是可迭代对象，reader是生成的可迭代序列(csv.reader(f)列表从存...
2020-02-15 17:26:50
88
原创 装饰器定义
函数定义装饰器def p_decorator(func): def wrapper(*args, **kwargs): return '<p>' + func(*args, **kwargs) + '<p>' return wrapper@p_decorator # 函数定义装饰器def get_text(): retu...
2020-02-15 10:31:31
150
原创 并发编程基础
并发编程基础1.多线程 threading：import timeimport threadingdef worker(n): print('{}函数执行于：{}'.format(threading.current_thread().name, time.ctime())) time.sleep(n) print('{}函数结束于：{}'.format(thre...
2020-02-14 13:46:04
84
原创 系统工具：sys，os模块
系统工具：sys，os1.sys常用属性sys.platformOut[5]: 'win32'sys.versionOut[6]: '3.7.3 (default, Mar 27 2019, 17:13:21) [MSC v.1915 64 bit (AMD64)]'sys.pathOut[7]: ['D:\\PyCharm\\helpers\\pydev', 'D:\\PyCh...
2020-02-13 14:10:46
365
原创 正则表达式 Regular Expression 基础
正则表达式 Regular Expression1.Re讲述作用：数据验证 文本扫描 文本提取 文本替换 文本分割语法分为字面值和元字符字面值：普通字符和转义字符转义字符 ：\ ^ $ . | ? * () [] 起一定功能在Re中：元字符：单字：. 除\n外所有的字符； \d = [0-9] 表示数字； \D 取所有的非数字 =[^0-9] (...
2020-02-12 17:24:15
148
原创 字符编码基础
字符编码基础：1.获取字符编码点位置print(ord('A')) # 65 获取字符编码位置（点）print(chr(121)) # y2.编码和解码（bytes）s = '优品课堂' # 编码# print(s.encode('utf-8')) # b'\xe4\xbc\x98\xe5\x93\x81\xe8\xaf\xbe\xe5\xa0\x82'd = s.enco...
2020-02-10 18:08:58
139
原创 对象持久化
对象持久化：1.扁平文件：a = [1, 2, 3, 4, 5]# 写入数据# with open('data.txt', 'w', encoding='utf-8') as f:# f.write(str(a))# 读取数据with open('data.txt', 'r', encoding='utf-8') as f: le = eval(f.read())...
2020-02-09 16:13:05
64
原创 数值、日期与时间的操作
数值基本表达与设置：a = 520b = 12345.2662c = -16462.2521print('数值：{}'.format(a)) # 数值：520print('数值：{}'.format(b)) # 数值：12345.2662## 等同于如下：print(f'数值：{a}') # 数值：520print(f'数值：{b}') # 数值：12345.2662...
2020-02-08 21:57:20
147
原创 Python 异常处理与单元测试
一.异常处理1.try：except：用法try: print(p.age) #需要测试是否异常的对象except: print('遇到属性异常')try: print(p.age) #需要测试是否异常的对象except AttributeError as e: # e实例化对象 ,捕获异常 print('遇到属性异常', e) print(t...
2020-02-08 17:34:21
538
原创 面向对象（封装，继承，多态）
OOP类，对象，实例化：name = 'Jock' # 定义全局变量class Ren(object): # 定义类，class Ren或者class Ren()都可以 name = '人' # 定义公有属性 __money = '我有十块钱' # 定义私有属性 def run(self): # 定义方法（函数），必须要有一个形参，通常用self ...
2020-02-05 20:26:48
69
原创 面向对象入门认识
包和模块：在Python中，项目的组织结构从高到低依次是：包->模块->类->函数/变量。Python包：Python项目下，包含__init__.py文件的文件夹，简称”Package”。模块：Python项目下，包含Python代码的.py文件，简称”Module”。用import mainimport ..as..from ..import..f...
2020-02-04 16:18:46
85
原创 Python 函数定义、lambda表达式及变量委托
Python 函数定义：@desc:函数 变量作用域：Built-in Global Enclosure Local,及 基本数据类型存储 原位改变问题"""def intersect(seq1, seq2): res = [] for x in seq1: if x in seq2: res.append(x) ret...
2020-02-03 12:46:21
539
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人