akon_wong_hkbu的博客

原创 Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond

Machine Reading Comprehension:The Role of Contextualized Language Modelsand Beyond机器阅读理解（MRC）旨在教机器阅读和理解人类语言，这是自然语言处理（NLP）的长期目标。随着深度神经网络的爆发和上下文语言模型（contextualized language models-CLM）的发展，MRC的研究经历了两个重大突破。作为一种现象，MRC和CLM对NLP社区有很大的影响。在本次调查中，我们提供了有关MRC的全面.

原创 二值化方法

一、全局阈值法1.固定阈值方法该方法是对于输入图像中的所有像素点统一使用同一个固定阈值。其基本思想如下:其中，T为全局阈值。缺点:很难为不同的输入图像确定最佳阈值。2.Otsu算法Otsu算法又称最大类间方差法先明确两个概念:(1)均值(2)方差图像的阈值化处理，就是将图像分为两个部分，高于阈值的部分，和小于阈值的部分。（暂不考虑多阈值的情况）。那么，如果将图像的每一个像素点的强度作为一个数据集合中的单元，那么，阈值化就相当于是一个二...

原创 Bert模型结构——源码

昨天同事突然问我"BERT论文中的图，虽然画了多个transformer block，但一层是不是相当于只有一个？？",我当时也有点懵逼,后来看了源码弄清楚了,今天就写一下Bert整个代码class BertModel(BertPreTrainedModel): """ The model can behave as an encoder (with only self-attention) as well as a decoder, in which case a laye.

原创 A Unified MRC Framework for Named Entity Recognition | ACL2020

1.论文目的该论文主要解决_"嵌套型"的NER(Nested NER)_的问题.

原创 keras使用callback造自己的monitor函数

fit_generator函数callback类keras.callbacks.ModelCheckpoint是一个常见的callback类，其重写了on_epoch_end函数，在每个epoch结束保存模型数据进入文件。keras.callbacks.History类主要记录每一次epoch训练的结果，包含loss以及acc的值；keras.callbacks.ProgbarLogger类实现训练中间状态数据信息的输出，主要涉及进度相关信息。训练过程中，每次权重的更新都是在一个bat

转载 pytorch crossentropy为nan

**问题：**用pytorch的crossentropy做损失函数的时候，迭代几步之后loss为nan。交叉熵损失函数的具体为：loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x)这样当z为0/1时会出现loss为nan的情况本人的具体原因网络中用了MultiHeadAttention,attention的mask全为0,这样attention就为nan，造成个别样本的输出特征全为nan。于是就自己用pytorch写了一个cross_entro

原创 Docker:Ubuntu容器中中文乱码的解决办法

查看容器语言环境 $ locale LANG= LANGUAGE= LC_CTYPE="POSIX" ......查看容器支持的语言 $ locale -a C C.UTF-8 POSIX修改 /etc/profile $ vi /etc/profile 在最后添加 export LANG=C.UTF-8重新加载环境变量 $ source /etc/profile再次查看 $ locale LANG=C.UTF-8 LANGUAGE=

原创 nvidia驱动升级和nvidia-docker2安装

1.nvidia驱动安装（1）移除旧驱动sudo apt-get purge nvidia\* #部分 Debian 系发行版版本可能不支持 apt-get purge ，可尝试使用 apt-get remove –purge 或 apt-get autoremove –purge 替代（2）添加驱动 PPA# Add the graphics-driver PPAsudo add-apt-repository ppa:graphics-drivers# And updatesudo a

转载 keras可视化遇到pydot&graphviz无法导入问题

https://blog.csdn.net/hahajinbu/article/details/72859849https://blog.csdn.net/jwayingxp/article/details/79440444我把graphviz安装到C盘了,所以要用管理员身份运行

转载 Sklearn 读取 minist 数据集问题

sklearn 使用过程中遇到的问题和解决方法minist_all.mat 下载地址 点击打开链接

转载 multiprocessing Lock

import multiprocessing as mpimport timedef job(v, num, l): l.acquire() for i in range(19): time.sleep(0.1) v.value += num print(v.value) l.release()def multicore(): l = mp.Lock() v =...

转载 multiprocessing Pool

import multiprocessing as mpimport threading as tdimport timedef job(x): return x * xdef multicore(): pool = mp.Pool() res = pool.map(job, range(10)) print("pool result:", res) res = pool...

原创 lock

import threadingimport timedef job1(): global A, lock lock.acquire() for i in range(10): A += 1 lock.release()def job2(): global A, lock lock.acquire() for i in range(10): A +=...

原创 queue

import threadingimport timefrom queue import Queuedef job(l, q): for i in range(len(l)): l[i] = l[i] ** 2 q.put(l)def multithreading(): q = Queue() threads = [] data = [[1, 2, 3], [3, 4...

原创 threading

# -*- coding: utf-8 -*-from time import sleep, ctimeimport threadingloops = [4, 2]def loop(nloop, nsec): print 'start loop', nloop, 'at:', ctime() sleep(nsec) print 'loop', nloop, 'done at:', ct...

原创 thread

from time import sleep, ctimeimport threadloops = [4, 2]def loop(nloop, nsec, lock): print 'start loop', nloop, 'at:', ctime() sleep(nsec) print 'loop', nloop, 'done at:', ctime() lock.release...

转载 机器学习常见的几个误区--逻辑回归的变量之间如果线性相关

下面罗列的几个在机器学习算法实际应用中误区，解决了我很多困惑，推荐大家读一下：Machine Learning Done WrongStatistical modeling is a lot like engineering.In engineering, there are various ways to build a key-value storage, and each design ma...

原创 Oracle优化查询改写 第一章

转载 Python eval 函数妙用

eval　　功能：将字符串str当成有效的表达式来求值并返回计算结果。　　语法： eval(source[, globals[, locals]]) -> value　　参数：　　　　source：一个Python表达式或函数compile()返回的代码对象　　　　globals：可选。必须是dictionary　　　　locals：可选。任意map对象可以把list,tuple,dict和...

转载 手机号码归属地查询接口大全（七种）

淘宝网API地址： http://tcc.taobao.com/cc/json/mobile_tel_segment.htm?tel=15850781443参数：tel：手机号码返回：JSON拍拍API地址： http://virtual.paipai.com/extinfo/GetMobileProductInfo?mobile=15850781443&amount=10000&...

转载 熵与互信息

http://blog.csdn.net/pipisorry/article/details/51695283

转载 Jupyter Notebook 的快捷键

Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter : 转入编辑模式Shift-Enter : 运行本单元，选中下个单元Ctrl-Enter : 运行本单元Alt-Enter : 运行本单元，在其下插入新单元Y : 单元

转载 Jupyter notebook远程访问linux服务器

关于IP和端口点击打开链接点击打开链接

转载 psycopg2接口的基本用法

psycopg2接口的基本用法转载自：http://zhiwei.li/text/2012/02/05/psycopg2接口的基本用法/ 与其他实现了DB API 2.0协议的其他数据库用户基本一致。1234567891011121314

转载 sqlteaching习题答案

习题一习题二习题三习题四习题五习题六习题七

翻译 XShell5连接Ubuntu虚拟机

http://blog.csdn.net/smile_luckly/article/details/72459490

原创 4.线性表part1

1.线性表（List）：由零个或多个数据元素组成的有限序列。

原创 3.时间复杂度和空间复杂度

1.算法效率的度量方法(1)•事后统计方法：这种方法主要是通过设计好的测试程序和数据，利用计算机计时器对不同算法编制的程序的运行时间进行比较，从而确定算法效率的高低。•但这种方法显然是有很大缺陷的：–必须依据算法事先编制好测试程序，通常需要花费大量时间和精力.–不同测试环境差别不是一般的大！(2)•事前分析估算方法：在计算机程序编写前，依据统计方法对算法进行估算。(3)•一

原创 2.谈谈算法

1.算法:–算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作。•算法具有五个基本特征：输入、输出、有穷性、确定性和可行性。2.算法设计的要求(1)•正确性–算法的正确性是指算法至少应该具有输入、输出和加工处理无歧义性、能正确反映问题的需求、能够得到问题的正确答案。–大体分

原创 1.数据结构与算法绪论

1.数据结构的实质：–数据结构就是关系，就是数据元素相互之间存在的一种或多种特定关系的集合。（1）.集合结构（2）.线性结构（3）.树形结构2.物理结构物理结构：根据物理结构的定义，我们实际上研究的的就是如何把数据元素存储到计算机的存储器中。•存储器主要是针对内存而言的，像硬盘、软盘、光盘等外部存储器的数据组织通常用文件结构来描述

原创 matplotlib——对坐标的控制,加图例注释

我们可以使用matplotlib.pyplot.locator_params（）来控制刻度线定位器的行为。 即使通常会自动确定标记点的位置，但是如果我们想要绘制较小的标记，则可以控制标记点的数量并使用紧密的视图：from pylab import *import numpy as npax = gca()ax.locator_params(tight = True, nbins =

原创 matplotlib——sin，cos

import matplotlib.pyplot as pltimport numpy as npif __name__ == '__main__': x = np.linspace(-np.pi, np.pi, 256, endpoint= True) y = np.cos(x) y1 = np.sin(x) plt.plot(x,y) plt.p

原创 pandas的一些应用

1.DataFrame.sub(other, axis='columns', level=None, fill_value=None)(dataframe相减)Subtraction of dataframe and other, element-wise (binary operator sub).Equivalent to dataframe - other, but with s

原创 CHAPTER 11-Training Deep Neural Nets-part3

Learning Rate Scheduling(学习速率调度)找到一个好的学习速度可能会非常棘手。 如果设置太高，训练实际上可能偏离（如我们在第4章）。 如果设置得太低，训练最终会收敛到最佳状态，但这需要很长时间。 如果将其设置得太高，开始的进度会非常快，但最终会围绕最佳方式跳舞，永远不会安顿下来（除非您使用自适应学习速率优化算法，如AdaGrad，RMSProp或Adam，但是 即

转载 特征选择

原文章http://blog.csdn.net/Yaphat/article/details/53188125?locationNum=3&fps=1

转载 机器学习中正则化项L1和L2的直观理解

原文链接点击打开链接

原创 tableau-表差异的计算

然后再销售额中可以找到差异计算.

原创 tableau-help文档的常规函数查询

http://onlinehelp.tableau.com/v10.2/pro/desktop/zh-cn/help.html

原创 CHAPTER 14 -Recurrent Neural Networks

Recurrent Neurons

原创 ImportError: The Python Imaging Library (PIL) is required to load data from jpeg files

出现ImportError: The Python Imaging Library (PIL) is required to load data from jpeg files