- 博客(36)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 numpy的矩阵计算（linalg模块）
numpy.linalg模块包含线性代数的函数。使用这个模块，可以计算矩阵逆、求特征值、解线性方程组以及求解行列式等。
2023-09-21 13:48:18
314
原创 Python Pandas4个好用的可视化数据分析EDA工具
EDA工具 dtale，pandas-profiling,Sweetviz的安装与应用
2023-04-07 14:47:38
838
原创 5个好用的pycharm community插件
5个好用的pycharm community插件，可以实现一些专业版的功能，包括数据库连接，性能分析，快捷键，分段执行等。
2022-03-07 16:42:44
2450
转载 [转载]详解机器学习中的熵、条件熵、相对熵和交叉熵
1、信息熵(information entropy)熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。那信息可以被量化么？可以的！香农提出的“信息熵”概念解决了这一问题。.
2022-01-25 15:09:15
368
原创 python文件加锁
使用fcntl在linux下，python的标准库有现成的文件锁，来自于fcntl模块。这个模块提供了unix系统fcntl()和ioctl()的接口。对于文件锁的操作，主要需要使用 fcntl.flock(fd, operation)这个函数。其中，参数 fd 表示文件描述符；参数 operation 指定要进行的锁操作，该参数的取值有如下几种：LOCK_SH：表示要创建一个共享锁，在任意时间内，一个文件的共享锁可以被多个进程拥有LOCK_EX：表示创建一个排他锁，在任意时间内，一个文
2021-07-07 11:27:33
4863
1
转载 python的类方法cls与实例方法self
cls 类方法与@staticmethod静态方法的区别主要是，cls可以调用实例方法，而静态方法不能作者：秦风链接：https://www.zhihu.com/question/49660420/answer/335991541来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。使用@staticmethod或@classmethod，就可以不需要实例化，直接类名.方法名()来调用。这有利于组织代码，把某些应该属于某个类的函数给放到那个类里去，同时有利于.
2021-07-07 10:26:56
915
原创 matplotlib & seaborn相关性热图
1.数据准备关键一步，使用pandas的corr函数生成相关矩阵。from string import ascii_lettersimport numpy as npimport pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltimport palettable# 生成随机数rs = np.random.RandomState(33)#类似np.random.seed，即每次括号中的种子33不变，...
2021-06-22 17:29:03
996
原创 mysql调优：执行计划、optimizer_trace 查看执行流程、调优
SQL执行计划1、如何查看sql的执行计划在需要执行的查询SQL前添加一个关键字“EXPLAIN”EXPLAIN中的列（1）id1、标识select所属的行，sql语句中有多少个select就有多少个id，并且id的顺序是按照select出现的顺序增长的2、id越大，越先执行3、id相同，从上往下执行4、id为NUll的最后执行 (2) select_type显示对应行是简单还是复杂select，SIMPLE值表明没有子查询或Union，如果有子查询，那么最.
2021-03-31 15:58:35
507
原创 python异步编程asyncio
python3.6之后引入asyncio标准模块asyncio模块的主要组件和概念事件循环：asyncio模块中，每一个进程都有一个事件循环。程序员把一些函数注册到事件循环上，当满足事件发生的时候，调用相应的协程函数； 协程：子程序的泛化概念，可以在执行期间暂停，等待外部的处理完成之后，从之前暂停的地方回复执行。理解为一个使用async关键字定义的函数。它的调用不会立即执行，而是会返回一个协程对象，协程对象需要注册到事件循环，由事件循环调用； Futures：定义Future对象，表示尚未完成的
2021-03-23 15:38:01
178
原创 pandas groupby， resample 按时间采样
pandas 给时间划分区间有几种相似的方式1.period_rangehttps://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.period_range.html2. pandas Grouper 按时间采样分组，参数和resample类似https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Grouper.html3.resampl.
2020-11-27 15:48:53
733
原创 shell实现str.replace更改日期格式
替换所有echo ${MESSAGE//e/E}替换第一个echo ${MESSAGE/e/E}Code：$ MESSAGE="Develop a passion for learning. If you do, you will never cease to grow."$ echo ${MESSAGE}Develop a passion for learning. If you do, you will never cease to grow.# Replace part
2020-11-16 16:44:22
513
原创 python2和python3的datetime时区问题:timezone时间转换
解决python2和python3的时区timezone转换问题
2020-10-23 15:19:52
2591
2
转载 使用 rsync 增量同步备份文件
rsync 全名 Remote Sync，是类 unix 系统下的数据镜像备份工具。可以方便的实现本地，远程备份，rsync 提供了丰富的选项来控制其行为。rsync 优于其他工具的重要一点就是支持增量备份。rsync - a fast, versatile, remote (and local) file-copying toolrsync 是一个功能非常强大的工具，其命令也有很多功能选项，它的特性如下：可以保持文件原来的权限、时间、所有者、组信息、软硬链接等等 可以从远程或者本地镜像保
2020-10-21 11:17:15
795
转载 理解数据库的事务，ACID，CAP和一致性
理解数据库的事务，ACID，CAP和一致性参考：https://www.jianshu.com/p/2c30d1fe5c4e什么是事务事务是指由一系列数据库操作组成的一个完整的逻辑过程，这个过程中的所有操作要么都成功，要么都不成功。比如：常见的例子就是银行转账的例子，一次转账操作会包含多个数据库操作，而这些数据库操作需要放到一个事务当中，保证其要么都成功，要么都不成功。什么是ACIDACID是事务的四个特性，指的是atomicity，原子性；consistency，一致性；iso..
2020-10-21 11:13:09
241
原创 python format用法
参考：https://www.cnblogs.com/fat39/p/7159881.html1.位置匹配 （1）不带编号，即“{}” （2）带数字编号，可调换顺序，即“{1}”、“{2}” （3）带关键字，即“{a}”、“{tom}”2.格式转换'%' - 百分数。将数值乘以100然后以fixed-point('f')格式打印，值后面会有一个百分号。>>> print('{:.2%}'.format(0.2))20.00%3.左右...
2020-10-15 17:22:38
284
转载 Python中pass、continue、break、exit()的区别
pass :不做任何事情，只起到占位的作用continue: 跳出本次循环break：结束循环exit（）：结束整个程序参考：https://blog.csdn.net/gao131360144/article/details/51500557
2020-09-22 14:14:09
138
原创 python 读取传入参数
一、sys 模块在 Python 中，sys 模块是一个非常常用且十分重要的模块，通过模块中的 sys.argv 就可以访问到所有的命令行参数，它的返回值是包含所有命令行参数的列表(list)，参数列表脚本名： sys.argv[0]参数1： sys.argv[1]参数2： sys.argv[2]import sysdef main(): print(sys.args[1]) print(sys.args[2])if __name__ == "__main_
2020-09-03 17:23:14
5069
原创 python 读取txt文件编码处理
python 读txt文件的时候，经常遇到编码报错的问题。处理文本读取，首先要确定文件的编码方式，然后通过指定encoding类别的方式读取文件，遇到无法解析的字符，可以通过指定未识别字符的处理方式处理。1.识别文件编码通过chardet 返回文件的编码类型，未识别的类型返回Noneimport chardet # 获取文件编码类型def get_encoding(file): # 二进制方式读取，获取字节数据，检测类型 with open(file, 'rb') as
2020-09-01 14:15:57
8041
1
原创 ubuntu设置中文字体--从windows拷贝字体
查看/etc/fonts/fonts.conf 配置的fonts路径/usr/share/fonts 存放公共字体，需要sudo操作权限~/.fonts 路径存放个人字体，有操作权限，将中文字体添加在这个路径下面。从c:/windows/fonts 文件夹下拷贝中文字体多个，放在~/.fonts路径下面接着根据当前目录下的字体建立scale文件mkfontscale接着建立dir文件mkfontdir生成两个文件然后运行fc-cache...
2020-08-26 14:36:07
630
原创 python修饰器@wraps
装饰器封装一个函数，并且修改它的行为蓝本规范:from functools import wrapsdef decorator_name(f): @wraps(f) #保持f的函数名，参数列表等 def decorated(*args, **kwargs): if not can_run: return "Function will not run" return f(*args, **kwargs) return
2020-08-25 18:31:06
452
原创 主题模型对比：LSA、pLSA、LDA
https://zhuanlan.zhihu.com/p/31470216前言本篇博文将详细讲解LDA主题模型，从最底层数学推导的角度来详细讲解，只想了解LDA的读者，可以只看第一小节简介即可。PLSA和LDA非常相似，PLSA也是主题模型方面非常重要的一个模型，本篇也会有的放矢的讲解此模型。如果读者阅读起来比较吃力，可以定义一个菲波那切数列，第 f(n) = f(n-1) + f(n-2) 天再阅读一次，直到这个知识点收敛。如果读者发现文章中的错误或者有改进之处，欢迎交流。1. 简介.
2020-08-05 21:02:10
2380
转载 LSA，pLSA原理及其代码实现
一. LSA1. LSA原理LSA(latent semantic analysis)潜在语义分析，也被称为 LSI(latent semantic index)，是 Scott Deerwester, Susan T. Dumais 等人在 1990 年提出来的一种新的索引和检索方法。该方法和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA 将词和文档映射到潜
2020-08-05 20:58:26
1035
原创 mysql自定义变量
mysql变量种类：全局变量／会话变量／局部变量／自定义变量参考：https://www.cnblogs.com/genialx/p/5932558.html自定义变量能让sql实现更复杂的功能例子：LeetCode178https://leetcode-cn.com/problems/rank-scores/分数排名实现dense_rank()功能select s.Score, a.r as 'Rank'from Scores s join (select Score, ...
2020-08-05 00:20:48
134
原创 DeepLearning 吴恩达深度学习第三课笔记
orthogonalization (正交化） 一个调整只带来一个方面的影响 评价标准 1 optimizing n-1 satisficing training set dev set test set dev开发集和test测试集来自同样的分布 样本划分 小样本100～10000 70%~30% 或者 6...
2020-07-27 23:46:06
172
原创 python数据结构（堆，栈，队列，哈希表）使用示例
基本数据结构：堆，栈，队列，哈希表Collectionsdeque: 双向列表 高效实现插入和删除，适用于堆列和栈支持append, pop, append left, pop left>>> from collections import deque>>> q = deque(['a', 'b', 'c'])>>> q.append('x')>>> q.appendleft('y')>>.
2020-07-24 22:37:03
407
原创 Leetcode刷题常见知识点
并查集：解决元素分组问题（亲戚、村村通） 优化：压缩路径和按秩合并 find merge双指针二叉搜索树BST左子树节点值小于根节点，右子树大于根节点平衡二叉树左子树节点值小于根节点，右子树大于根节点，且左子树与右子树高度差不超过1python数据结构参考：大顶堆 每个节点的值大于等于左右孩子节点小顶堆 每个节点的值小于等于左右孩子节点优先队列最小堆 完全二叉树，小顶堆最大堆哈夫曼编码 压缩编码，带权路径最小。用最小...
2020-07-24 22:34:09
191
原创 DeepLearning 吴恩达深度学习第二课笔记
改善深层神经网络 偏差、方差 减少偏差 更大的网络 减少方差 更多数据 正则化 正则化 （Regularization） L2正则 ||w||^2，w是高维参数，可以加b，也可以不加 正则化权重lambda过大时，w很小，wx+b接近0，经...
2020-07-24 22:22:32
193
原创 hadoop3.1.3 + hive3.1.2 + mysql5.7.24 + zeppelin0.8.0环境搭建
hadoop3.1.3 + hive3.1.2 + mysql5.7.24 + zeppelin0.8.0环境搭建PRE：Hadoop部署Hive部署zeppelin部署和配置hive interpreterhive创建表导入数据PRE：首先要有JDK环境，java1.8，配置环境变量。linux系统一般有自带openjdk，yum list检查一下版本Hadoop部署hadoop伪分...
2019-12-27 18:01:18
710
原创 Struts2 IDEA项目开发
Struts2 IDEA项目开发1. pom.xml2. web.xml3. struts.xml启动日志1. pom.xml注意 打包方式<packaging>war</packaging>访问路径<artifactId>struts-sample</artifactId> <project xmlns="http://maven.a...
2019-09-24 22:49:39
374
转载 命令行设置ubuntu外接屏幕
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_36852276/article/details/89876478刚装的系统，外接显示器之后笔记本屏幕不亮，显示器屏幕正常显示，看网上说的重装驱动什么的都不靠谱，最后发现果然只是简单的设置问题首先打开终端输入xrandr查看显...
2019-09-24 16:40:11
1264
原创 redhat 6.7 升级安装mysql5.7
1.先卸载旧版本https://blog.csdn.net/u010199866/article/details/809974852.下载mysql5.7 tar包，并参考教程安装
2018-12-13 20:07:50
453
原创 linux硬盘分区，挂载及扩容
1.硬盘信息，硬盘分区，格式化https://blog.csdn.net/lgstudyvc/article/details/804531552.硬盘扩容https://www.cnblogs.com/xinfang520/p/8926675.html逻辑卷可以直接扩容lvextend -L +50G /dev/mapper/xxx逻辑卷缩小容积要umount...
2018-12-13 20:04:49
379
原创 mac删除global protect
global protect是访问公司网络用的，比较流氓，杀掉进程会自动重新启动。只要删除Info.plist，就不会自动启动了1.删除文件Info.plist（mac启动该程序时使用） sudo rm /Applications/GlobalProtect.app/Contents/Info.plist2.活动监视器杀掉global protect进程3.应用程序中把glob...
2018-11-03 22:26:03
7859
3
转载 手动编译安装R和依赖
参考这个文档，很详细了linux R-3.4.1实测源码编译安装 - qq_30498935的博客 - CSDN博客需要注意的点1.手动安装zlib，bzip2、xz、pcre和curl等依赖的lib，注意添加路径PREFIX=/HOME/packages2.设置安装好的包的环境变量（！这步最重要）export PATH=/HOME/packages/bin:$PATHex...
2018-11-01 17:41:45
439
原创 R语言hdf5依赖h5 packge手动安装
服务器有网络限制，必须用离线方式去安装HDF指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。HDF最早由NCSA开发，在气象数据，高频数据存储方面应用较多。当前流行的版本是HDF5。 HDF5文件数据结构包括Datagroup和DataSet。 DataGroup：类似文件夹，可以包含多个数据集或下级群组。DataSet：类似字典，存储内容。有什么包R有些包可以处理hdf5...
2018-11-01 17:37:57
5689
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人