- 博客(59)
- 收藏
- 关注
RSS订阅原创 如何设计分布式锁？
在分布式系统中，常见的实现分布式锁方式是基于数据库、基于分布式缓存方式等；其中基于数据库方式主要依赖于数据库的事务功能或表结构的实现乐观锁，基于分布式缓存方式常用的有redis、etcd、zookeeper等；redis实现分布式锁性能最好、zookeeper和etcd实现可靠性更好；其中zookeeper和etcd实现方式比较类似，但etcd在通讯、锁设置上性能较zookeeper更好。
2024-07-20 16:06:07
1063
转载 镜子之感
《镜子之感》摘自《语文山水》如果想要装扮自己的形貌可能需要更大的镜子，更多的灯光如果想要装扮自己的灵魂我劝你最好将眼光从手中的镜子挪开到其他地方去寻找你需要的镜子“以铜为镜” 不如 “以人为镜”在这出即将由你担纲演出的人生之戏里你要演出什么角色，虽然由你自己决定剧本也有赖你自己去编写但如果你想要由精彩而漂亮的演出那你也许应该参考一下前人的戏码在古今中外的舞台上有过多少可歌可泣可感的角色和剧本它们都可以是你的镜子...
2021-05-23 09:48:46
153
原创 生成所有的出栈序列 （回溯法）------python
1. 题目描述根据入栈的顺序，输出所有的出栈顺序。例如：入栈顺序为123，出栈的顺序为：123，132，213，231，3212. 题目解析参考：生成所有的出栈序列 （回溯法）----c++采用回溯法和递归统计所有可能的出栈序列。（1）当所有的入栈序列已经全部入栈后，则只能出栈。（2）当栈为空时，只能进栈。（3）当仍有入栈元素且栈不为空时，可以入栈，也可以出栈。入栈 -> 递归处理下一个入栈元素 -> 恢复未入栈状态出栈 -> 将出栈元素添加到出栈序列 -&
2020-05-30 11:32:09
2546
原创 二叉树序列化
1. 题目描述(题目链接)2. 思路（1）根据层次遍历建立二叉树；（2）先序遍历二叉树3.代码import sysimport mathn = int(sys.stdin.readline().strip())inputList = [sys.stdin.readline().strip() for i in range(n)]m = len(inputList)nodes = pow(2,int(math.log2(m))-1)-1num = len([each
2020-05-29 09:36:31
969
原创 解决 ImportError: No module named core or tensorflow.core
问题描述import keras出现报错：ImportError: No module named core解决方法pip uninstall numpypip install numpy然后继续导入 import numpy 成功import keras 报错：ImportError: No module named tensorflow.core解决方法：pip u...
2020-04-13 23:09:40
5263
原创 python的多线程与异步编程
操作系统中，进程是资源分配的基本单位，线程是PU调度(程序执行)的最小单位。计算机执行程序必须分配资源（内存，有堆、栈、自右存储区、全局/静态变量区、数据区）1.多线程关于多线程的介绍，这不再阐述，请见python内置函数thread相关操作：# encoding:utf-8# 多线程测试import timeimport threadingdef test...
2020-03-04 15:13:19
1525
原创 The record of Paper about Phishing Detection----钓鱼检测综述
本文纯属个人笔记记录。（下面内容来自“网络钓鱼欺诈检测技术研究”） 网络钓鱼(phishing) 产生于1996年，由钓鱼(fishing)一词演变而来。网络钓鱼，一般情况下，会通过电子邮件、手机短信、社交通讯或主动搜索等情况，出现在用户面前。以与合法网站及其相似的链接或者页面，混淆视野。一旦有用户误以为为合法网站，在网站上注册或者登录自己的账号，便会完成信息被窃取的过程；又或者在...
2019-12-25 10:46:47
2039
1
原创 远程服务器上传本地文件操作(shell上传+Visual Studio Code远程服务器设置)
上传本地文件到服务器的方式很多。下面介绍仅用shell完成本地上传文件的操作。1. shell连接服务器打开shell，输入指令，完成连接服务器。指令如：ssh 用户名@ip地址，然后enter键连接，输入密码完成连接服务器。2.shell上传本地文件简单操作：1）先在远程服务器上，安装lrzsz，指令如下：yum install lrzsz。 ...
2019-12-24 10:28:11
5459
原创 cyber security and phish detection
本文纯属笔记。1.APWG : 国际反钓鱼组织，每季度有关于全球钓鱼攻击方面的统计和分析信息；2.Microsoft Computing Safer Index Report：介绍了每年因钓鱼攻击造成的财产损失情况。3.Phishing URL Detection with MLAn phisher has full control over the sub-domain porti...
2019-12-21 09:59:42
402
原创 神经网络之BP算法(图说神经网络+BP算法理论推导+例子运用+代码)
原文写于2018年5月。修改于2019年11月17。最近在学习《Deep Learning》这本书，书中在前馈神经网络、全连接神经网络以及卷积神经网络等内容中，都有提到反向传播算法，这一算法可以说是神经网络中求解参数比较核心的部分了。为了更好地理解神经网络工作的原理，认识反向传播在神经网络中的运算机制，在综合《Deep Learning》书中的有关部分并且学习了b站讲解神经网络的相关视频及一...
2019-11-17 22:01:15
100744
56
原创 决策树——ID3\C4.5\CART算法原理及区别
决策树(decision tree)是一种基本的分类与回归方法。笔者在学习了《统计学习方法》之后，从决策树实现分类和回归所需的原理出发，进行总结。下面将介绍ID3算法、C4.5、CART算法的计算过程及区别。决策树理论知识的学习和掌握，是对以决策树为基础模型的集成方法Random Forest、GBDT、XGBoost、lightgbm及Catboost的基础必备。因此，笔者在复习决策树章节过程中...
2019-10-10 13:48:20
1241
原创 SQL高级篇（一）
纯属笔记记录------大部分内容来自公众号SQL数据库开发数据库：SQL Servers目录1、临时表2、变量局部变量赋值全局变量3、CASE1、临时表临时表的定义：临时表与实体表相似，只是在使用过程中，临时表是存储在系统数据库tempdb中。当我们不再使用临时表的时候，临时表会自动删除。临时表分类：临时表分为本地临时表和全局临时表，它们在名称、可见性以及...
2019-10-09 22:51:00
627
原创 SQL事务处理及锁定
事务处理(Transaction)是将多个更新命令作为一个整体来执行，从而保证数据整合性的机制。与锁定机制以分离概念结合，可以看作保持数据信赖性的同时，维持数据库的性能的方法。事务处理是在实际的数据库运用中必不可少的功能。1.存储引擎(Storage Engine)MySQL功能可以分为两个部分，外层部分主要完成与客户端的连接以及事前调查SQL语句的内容功能，而内层部分就是存储引擎部分，它...
2019-10-08 15:25:11
409
原创 感知机
《统计学习方法》此书中，将感知机模型讲解十分清楚，并且推导了损失函数设计原理、随机梯度下降方法求解参数、详细解释了对偶问题求解方法及模型的收敛性。笔者再次学习该模型后，将自己的理解融入本文中，从感知机模型、损失函数设定、计算策略、算法流程这4个部分做回顾。感知机(perceptron)模型：二分类模型、线性分类模型、判别模型。损失函数：误分类实例到超平面的距离之和。计算策略：随机梯度下...
2019-10-08 09:58:24
379
原创 线性回归模型
线性回归模型是一种比较简单的、容易解释的回归预测方法。在实际应用中，可以用线性回归模型简单判断特征与目标值之间是否存在某种线性相关的关系。若存在，可以用多个线性模型去表示回归值；若不存在，即可以考虑特征与回归值之间的非线性关系（非线性关系可以考虑SVM的核函数映射方式或者神经网络中使用激活函数的方式等，将特征映射到更高维的空间或者表示出非线性的表达式，进行拟合出特征与回归值之间的一种表达形式。这里...
2019-10-07 11:01:24
3126
原创 SQL基础知识（三）
纯属笔记记录------大部分内容来自公众号SQL数据库开发数据库：SQL Servers本博客主要介绍的还是SQL Servers背景下关于sql的一些基本用法。笔者自身学习的是MySQL，若有疑问，欢迎留言。目录1、索引2、子查询3、事务4、常用数学函数5、常用日期函数6、常用字符处理函数7、常用数据类型8、SQL语句快速参考1、索引索引是一...
2019-10-05 16:41:22
400
原创 SQL基础知识（二）
纯属笔记记录------大部分内容来自公众号SQL数据库开发数据库：SQL Servers本博客主要介绍的还是SQL Servers背景下关于sql的一些基本用法。笔者自身学习的是MySQL，若有疑问，欢迎留言。目录1、CREATE2、ALTER TABLE3、VIEW视图4、NULL5、AS别名6、约束7、约束(实例)1、CREATE作用：通过使用...
2019-10-03 11:32:42
419
原创 SQL基础知识（一）
纯属笔记记录------大部分内容来自公众号SQL数据库开发数据库：SQL Servers本博客主要介绍的还是SQL Servers背景下关于sql的一些基本用法。笔者自身学习的是MySQL，若有疑问，欢迎留言。目录SQL执行顺序1、SELECT 的用法2、DISTINCT 语句3、TOP语句4、WHERE子句5、AND & OR6、ORDER BY...
2019-10-02 11:56:54
433
原创 RNN\LSTM\GRU常见结构
RNN已经发展十分成熟，但仍然有许多认知仅仅停留在“RNN具有处理时间序列的输入”，对于RNN的框架结构，以及为什么演变到LSTM,LSTM如何演变到GRU却是十分含糊。本篇博客，旨在记录笔者对RNN的理解和LSTM的认知，主要从结构上、和部分公式角度理解RNN和LSTM结构。主要学习内容来自《深度学习》伊恩 古德费洛。1 RNN 结构 RNN(Recurrent neur...
2019-10-01 17:54:19
576
转载 KMP算法(字符串匹配)
仅为记录对KMP算法介绍较为详细的博客链接：很详尽KMP算法（厉害）从很详尽KMP算法（厉害）处迁移到本博客：作者：July 时间：2014年7月21日晚10点1. 引言 下面，咱们从暴力匹配算法讲起，随后阐述KMP的流程 步骤、next 数组的简单求解 递推原理 代码求解，接着基于next 数组匹配，谈到有限状态自动机，next 数组的优化，KMP的时间复杂度分析，最...
2019-05-18 12:38:08
1040
原创 scikit-learn的基本用法——模型保存与加载
1 模型保存见demo:import picklefrom sklearn.svm import SVCfrom sklearn import datasets # 定义分类器svm = SVC()# 加载iris数据集iris = datasets.load_iris()# 读取特征X = iris.data# 读取分类标签y = iris.target# 训练...
2019-05-14 12:34:12
3064
2
原创 tensorboard可视化操作
1、tensorboard可视化一般操作Tensorflow的可视化工具Tensorboard的初步使用 这篇博客包含了Tensorboard的数据形式、Tensorboard的可视化过程、Tensorboard使用案例(具体包括如何代码中如何将各种参数写入文件、之后调用tensorboard的方法)。2、tensorboard可视化过程遇见的问题1）No dashboards are...
2019-05-05 20:04:49
565
原创 Echart初认识(一)：如何实现第一个echarts图
Echart有python的代码版本，也有自己写html的版本，这里介绍自己写html的简单使用过程。echarts官方给出了不同方式绘制图例，其中下载源代码，引入文件（标签式单模块引入）和模块化单文件引入是较为常用的方式，其区别在于：引入文件，在写好的图例中，别人使用时，同样需要源文件和配置路径；模块化文件引入，再写好的图例中，别人使用时，不需要其他文件，传送html源文件即可得到需要的效果...
2019-04-23 17:21:31
1066
1
原创 tensorflow踩坑(多分类写Loss,batch_size设置,tf.reduce降维)
1 tensorflow关于多分类写loss1.1 二分类见代码import numpy as npimport tensorflow as tflabels=np.array([[1.,0.],[0.,1.],[0.,1.]])logits=np.array([[0,-2.],[-10.,0.],[-2.,0]])y_pred=tf.sigmoid(logits)yy ...
2019-04-09 13:58:45
4897
原创 菜鸟入门学习使用深度学习floydhub
1 floydhub介绍 floydhub是国外的一个非常简单的入门级深度学习云平台，提供了12G的k80显卡，足够入门和小项目运行。其好处是操作简单(笔者使用起来有点呛。。。)。实际上是将aws的GPU主机进行了封装集成，通过本地命令行直接调用；缺点在于价格较高，每GPU小时1.2美金。2 floydhub注册及基本使用 floydhub网址：https://www.flo...
2019-03-20 22:04:48
2787
9
原创 NLP_task9: Attention
1 Attention基本原理 在“Neural Machine Translation By Jointly Learning To Align And Translate”中，为解决RNN-Encoder-Decoder的基础上target端输入固定长度的问题，提出了Align方式，这也是Attention的开始。这篇paper中，它将输入句子编码成一系列向量，并在解码翻译时自...
2019-03-18 12:14:10
384
原创 NLP_task8：循环神经网络
1 RNN结构 RNN，循环神经网络。首先看一个简单的循环神经网络，由输入层、一个隐藏层和一个输出层组成：其中，U是输入层到隐藏层的权重矩阵，o是输出层的值，V是隐藏层到输出层的权重矩阵，权重矩阵W是隐藏层上一次的值作为下一次输入的权重。一般的循环神经网络如下图：在这个网络中，时刻t接收到输入之后，隐藏层的值是,输出值是。从网络中可以看出，不仅取决于，还取决于。我们可以用...
2019-03-16 21:32:32
597
原创 NLP_task7：卷积神经网络
1 卷积神经网络原理 卷积神经网络(Convolutional Neural Networks,CNN),是由Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络。 一般地，CNN的基本结构包括两层，一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征；一旦该...
2019-03-15 21:00:00
1553
原创 NLP_task6: 简单神经网络(word2vec\FastText)
1 文本表示：从one-hot到word2vec word2Vec也称word embeddings，是一个可以语言中字词转化为向量形式表达(Vector Representations)的模型。 在Word2Vec出现之前，通常将字词转化成离散的单独的符号，比如将“中国”编号为5178的特征，将北京编号为3987的特征，这即是One-Hot Encoder。一个词...
2019-03-13 21:42:34
948
原创 NLP_task5: 神经网络基本概念、激活函数、防止过拟合的方法、参数优化
1 神经网络相关的基本概念前馈神经网络：是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。网络层数、输入层、隐藏层、输出层、隐藏单元：下面以图为例，介绍这些名词的含义网络层数：一般是指设置或者搭建的模型有多少层。以上图为例，网络层为3。输入层：一般指数据输入模型的一层，如图。输出层：一般指模型的最后...
2019-03-11 22:09:35
2833
原创 斐波那契数列、青蛙跳、变态青蛙跳
斐波那契数列大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0）。(斐波那契数列：0，1，1，2，3，....,即后一项为前两项之和的数列)demo：class Solution: def Fibonacci(self, n): # write code here if n<=1: ...
2019-03-10 14:52:57
951
原创 NLP学习__task4：传统机器学习：朴素贝叶斯、SVM、PLSA、LDA
1、朴素贝叶斯的原理 在所有机器学习分类算法中，朴素贝叶斯和其他绝大多数分类算法不同。不同于：例如决策树、KNN、逻辑回归、支持向量机等，这些都是判别方法，即直接学习出特征输出Y和特征X之间的关系，也是决策数；而朴素贝叶斯是生成方法，即直接找出特征输出Y和特征X的联合分布，然后用得出。1）朴素贝叶斯的定理 首先，明确贝叶斯统计方式与统计学中的频率概念不同：从频...
2019-03-09 17:55:32
2128
1
原创 NLP学习__task3： : 特征提取：TF-IDF、词向量表示、互信息原理、特征筛选
1 TF-IDF原理TF-IDF原理在另一篇博客：关键词抽取模型 已经提及，这里不在重复。2 文本矩阵化笔者理解的文本矩阵化，即将文本进行“词向量化”。这里简述常见的语言表示模型(词嵌入、句表示、篇章表示)。词向量类型：1）一个词一列向量的表示方法有Hash算法和word2vec。hash算法将词打散成(01010101)的数值，word2vec则同时打散定义成了向量。wor...
2019-03-07 11:04:58
4984
原创 NLP学习__task2：特征提取：基本文本处理、语言模型
1. 基本文本处理技能——中文分词1.1 分词的概念 中文分词，即Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。根据中文的特点，可以将分词算法分为四大类：1）基于规则的分词方法；2）基于统计的分词方法；3）基于语义的分词方法；4）基于理解的分词方法。下面对这几种方法分别进行总结：1）基于规则的分词方法 又称为机...
2019-03-05 17:06:33
860
1
原创 关键词抽取模型
关键词抽取模型常见的算法有TF-IDF、TextRank等，本文仅在这里对这两种方法作原理的简单介绍。1 TF-IDF算法 TF-IDF(term frequency-inverse document frequency) :一种用于资讯检索于资讯探勘的常用加权技术。是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随...
2019-03-04 17:10:21
6391
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人