自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(241)
  • 资源 (16)
  • 收藏
  • 关注

原创 python通过pid杀死进程的方法

python通过pid如何杀掉正在执行的进程

2022-09-08 09:24:37 136

原创 机器人行业中我们常说的roll、yaw、pitch是什么?

pitch、yaw、roll三个角的区别(yaw angle 偏航角,steering angle 航向角的解释)

2022-08-24 17:01:35 83

原创 pygame画图

pygame如何在图片上面花点,实现动态跟踪

2022-08-19 15:48:57 671

原创 anaconda包文件安装

安装失败时,可以指定数据源

2022-08-18 21:50:44 35

原创 图像显示pygame

python图像显示,pygame

2022-08-16 15:58:11 542

原创 搜索推荐中的 Position Bias

在搜索推荐系统中,Bias可以说无处不在。之前我们整理过搜索、推荐、广告中的曝光偏差问题,今天来看看 position bias。1. 什么是position biasPosition-Bias是指 item 在展示页面的排序位置,及其相对广告的位置等。经验和有关论文都告诉我们,这种位置会影响item的点击率。这种影响跟用户的「真实兴趣」无关,而是跟用户的注意力、用户对广告的情绪有关。例如有眼动实验表示用户会很少关注那些在列表靠下的item。离线分析显示,排在前面的文章一般比排在后面的文章点击率高

2022-03-28 16:11:09 95

原创 MMOE核心代码块

class MMoE_Layer(tf.keras.layers.Layer): def __init__(self,expert_dim,n_expert,n_task): super(MMoE_Layer, self).__init__() self.n_task = n_task self.expert_layer = [Dense(expert_dim,activation = 'relu') for i in range(n_expert).

2022-03-28 15:13:56 237

原创 Linux 查看文件指定行数 内容

1、taildate.log 输出文件末尾的内容,默认10行 tail -20 date.log 输出最后20行的内容 tail -n -20 date.log 输出倒数第20行到文件末尾的内容 tail -n +20 date.log 输出第20行到文件末尾的内容 tail -f date.log 实时监控文件内容增加,默认10行。2、head date.log ...

2022-03-16 11:18:44 2514

原创 网络中BN层的作用

BN层的作用主要有三个:加快网络的训练和收敛的速度 控制梯度爆炸防止梯度消失 防止过拟合分析: (1)加快收敛速度:在深度神经网络中中,如果每层的数据分布都不一样的话,将会导致网络非常难收敛和训练,而如果把 每层的数据都在转换在均值为零,方差为1 的状态下,这样每层数据的分布都是一样的训练会比较容易收敛。 (2)防止梯度爆炸和梯度消失:以sigmoid函数为例,sigmoid函数使得输出在[0,1]之间,实际上当x道了一定的大小,经过sigmoid函数后输出范围就会变得很小梯

2022-03-07 11:54:00 247

原创 self-attention为什么要除以根号d_k

一、因为softmax的输入很大时,其梯度会变的很小,趋近于0;二、除以根号Dk的目的就是使得,QK/Dk满足方差稳定到1,使得softmax的梯度不至于太小

2021-12-25 11:53:01 3816

转载 Bert-Bilstm-CRF基线模型详解&代码实现

这个系列我们来聊聊序列标注中的中文实体识别问题,第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起,看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本,详见 Github-DSXiangLi/ChineseNERNER问题抽象实体识别需要从文本中抽取两类信息,不同类型的实体本身token组合的信息(实体长啥样),以及实体出现的上下文信息(实体在哪里)一种解法就是通过序列标注把以上问题转化成每个字符的分类问题,label主要有两种其中BIO更常见些BIO:

2021-12-11 22:40:20 2900 1

转载 基于BERT+BiLSTM+CRF的中文景点命名实体识别

赵平, 孙连英, 万莹, 葛娜. 基于BERT+BiLSTM+CRF的中文景点命名实体识别. 计算机系统应用, 2020, 29(6): 169-174.http://www.c-s-a.org.cn/1003-3254/7269.htmlZhao P, Sun LY, Wan Y, Ge N. Chinese Scenic Spot Named Entity Recognition Based on BERT+BiLSTM+CRF. Computer Systems and Applicat...

2021-12-11 21:57:12 1208

转载 深度学习--前馈神经网络、反馈神经网络

这篇文章主要整理三部分内容,一是常见的三种神经网络结构:前馈神经网络、反馈神经网络和图网络;二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理;三是梯度消失和梯度爆炸问题的原因及解决思路。一、神经网络结构目前比较常用的神经网络结构有如下三种:1、前馈神经网络前馈神经网络中,把每个神经元按接收信息的先后分为不同的组,每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出,并输出到下一层神经元。整个网络中的信息是朝着一个方向传播的,没有反向的信息传播(和误差反向传播不是一回

2021-07-26 22:19:35 7491

原创 推荐系统漫谈之流行度偏置(popularity bias)与数据链路(Feedback Loop)

推荐系统存在 popularity bias,即少部分物品被频繁曝光。系统记录下频繁曝光的日志,并基于日志数据制定推荐策略,这种反馈链路(Feedback Loop)进一步放大推荐系统的popularity bias,从而对推荐多样性、挖掘用户真实兴趣、用户体验等有着不利影响。引起popularity bias问题的原因可能有以下两个方面:1、数据bias:数据本身就存在严重bias,头部物品占了绝大多数曝光。2、算法bias:算法把头部物品频繁推荐给用户,使得数据bias进一步放大。动态来看,

2021-03-10 19:35:10 552

原创 如何安装beatifulsoup

1. 什么是beatifulsoup?beatifulsoup官网http://www.crummy.com/software/BeautifulSoup/BeatifulSoup是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时...

2019-10-11 15:48:05 228

转载 近似最近邻算法查找(ann)--01

Ann, Approximate Nearest Neighbor的缩写,就是近似最近邻搜索。在机器学习领域,语义检索,图像识别,推荐系统等方向常涉及到的一个问题是:给定一个向量X=[x1,x2,x3...xn],需要从海量的向量库中找到最相似的前K个向量。通常这些向量的维度很高,对于在线服务,用传统的方法查找是非常耗时的,容易使得时延上成为瓶颈,因此业界通用的方式就是将最相似的查找转换成An...

2019-09-27 10:50:00 3448

原创 VIM设置tab和shift+>为4个空格

修改配置文件。第一步: 打开配置文件vim  /etc/vimrc  或  vim  ~/.vimrc前者时系统范围配置文件,后者是个人配置文件。第二步:在打开的文件中写入set ts=4   #等号的后面不要加空格,直接写4set expandtab 这样tab就是4个空格了。如果要修改 shift+> 时的缩进距离为4.第三步:同时写入set sm...

2018-12-26 11:43:08 888

原创 在Vim中查看、修改文件编码

:set fileencoding即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决 用Vim查看文件乱码的问题,那么在 ~/.vimrc 文件中添加以下内容:set encoding=utf-8 fileencodings=utf-8这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或 者GBK编码的文件),其实就是依照fileencodings提供的...

2018-12-17 10:48:38 748 1

原创 Python 通过url获取图片尺寸、格式相关信息

假定给出一个URL,如何从服务器捕获该URL所对应的图片的相关信息呢?利用Python的urllib及PIL中的Image即可轻松实现。#coding:utf-8import osimport urllibimport urllib2import cStringIOfrom PIL import Imagepath = "http://h.hiphotos.baidu.c...

2018-11-26 17:22:33 3241

原创 python 删除文件夹、删除非空文件夹

一般删除文件时使用os库,然后利用os.remove(path)即可完成删除,如果删除空文件夹则可使用os.removedirs(path)即可, 但是如果需要删除整个文件夹,且文件夹非空时使用os.removedirs(path)就会报错了,此时可以使用shutil库,该库为python内置库,是一个对文件及文件夹高级操作的库,可以与os库互补完成一些操作,如文件夹的整体复制,移动文件夹,对文...

2018-11-20 15:34:58 43168

转载 Linux下安装软件,configure、make、make install 各自含义

正常的编译安装/卸载:源码的安装一般由3个步骤组成:配置(configure)、编译(make)、安装(make install)。 configure文件是一个可执行的脚本文件,它有很多选项,在待安装的源码目录下使用命令./configure –help可以输出详细的选项列表。 其中--prefix选项是配置安装目录,如果不配置该选项,安装后可执行文件默认放在/usr /lo...

2018-08-09 11:31:10 3302

原创 Linux 下安装openssl

【问题描述】执行程序时,报Fail to find openssl/ssl.h from --headers错误,没有找到解决办法,所以决定重新安装openssl【安装过程】1、到git上下载安装包https://github.com/openssl/openssl/releases我选择的是OpenSSL_1_1_1-pre7 这个版本2、./config shared(...

2018-08-08 17:25:51 5251

原创 Linux系统 cmake2.8升级到cmake-3.9.2版本

1、查看当前版本cmake --version 2、下载获得cmake-3.9.2源码 wget https://cmake.org/files/v3.9/cmake-3.9.2.tar.gz 3、解压、安装新版本tar -xvf cmake-3.9.2.tar.gzcd cmake-3.9.2./configuresudo make && ...

2018-08-08 11:06:07 24057 8

原创 hadoopstreaming job中参数解释 python

    -D stream.map.output.field.separator :设置map输出中key和value的分隔符      -D stream.num.map.output.key.fields :  设置map程序分隔符的位置,该位置之前的部分作为key,之后的部分作为value      -D map.output.key.field.separator : 设置map输...

2018-07-25 15:17:37 328

原创 数组(列表)全排列、组合实现方法 python

python语言简单、方便,其内部可以快速实现排列组合算法,下面做简单介绍:1、一个列表数据任意组合:【自带的库itertools.combinations】#_*_ coding:utf-8 _*_#__author__='dragon'import itertoolslist1 = [1,2,3]list2 = []for i in range(1,len(list1)+1):    iter...

2018-06-22 14:16:47 17008 1

转载 python中lambda的用法

一、lambda函数也叫匿名函数,即,函数没有具体的名称。先来看一个最简单例子:def f(x):return x**2print f(4)Python中使用lambda的话,写成这样g = lambda x : x**2print g(4)二、lambda和普通的函数相比,就是省去了函数名称而已,同时这样的匿名函数,又不能共享在别的地方调用。其实说的没错,lambda在Python这种动态的语言...

2018-05-18 10:56:56 333

原创 python向上取整,向下取整

1、python向下取整方法:一般使用floor除法,一般除法/,round()四舍五入函数2、python向上取整方法: Python match.ceil函数 ceil(x)函数是向上取整,即取大于等于x的最接近整数。 import math math.ceil(float(1)/2)

2017-10-24 15:54:02 40491

原创 Linux 文件末尾包含^M字符

一、背景当我们把文件从Windows传到Linux环境时候,常常在每一行的末尾,会出现一些 ^M的字符.而这些字符会影响文件的正常读写和执行。二、处理方法:1、要去掉这些'^M'字符,有很多种办法,比如直接dox2unix【命令:dos2unix filename 】但是自己亲测,未达到效果,原因未知。2、亲测有效命令:命令1:tr -d "\015"old_filen

2017-10-14 19:56:31 5124

转载 N-gram详解分析

作者: 龙心尘 && 寒小阳 时间:2016年2月。 出处: http://blog.csdn.net/longxinchen_ml/article/details/50646528http://blog.csdn.net/han_xiaoyang/article/details/50646667声明:版权所有,转载请联系作者并注明出处1. 引言:朴素贝叶斯

2017-10-04 15:01:38 10047

转载 Python+Hadoop Streaming实现MapReduce(如何给map和reduce的脚本传递参数)

设置参数    #!/bin/bash    hadoop fs -rmr trans_record/result    hadoop jar ./hadoop-streaming-2.0.0-mr1-cdh4.7.0.jar \          -input $1 \          -output trans_record/result \       

2017-09-10 11:25:06 909

转载 pyhton列表合并、追加操作extend()、+

在实际应用中涉及到了列表合并的问题。在应用append()时,发现列表是以一个元素的形式追加到列表上的,最后查询后用的是extend()方法,下面是区别 1.append()  向列表尾部追加一个新元素,列表只占一个索引位,在原有列表上增加2.extend() 向列表尾部追加一个列表,将列表中的每个元素都追加进来,在原有列表上增加3.+  直接用+号看上去与

2017-08-25 15:02:33 765

转载 python中counter()记数

一:定义一个list数组,求数组中每个元素出现的次数如果用Java来实现,是一个比较复杂的,需要遍历数组list。但是Python很简单:看代码[python] view plain copy a = [1,4,2,3,2,3,4,2]  from collections import Counter  print Counter(a)  打印结

2017-08-14 21:14:16 4977

转载 webstorm 激活码、注册码

2017-06-15更新 之前都是使用2017.2.27的方法,版本是2017.1.1,还没提示过期,但是根据评论说这个链接已经失效了,评论也给出了个新地址:http://idea.iteblog.com/key.php转自: http://blog.csdn.net/it_talk/article/details/52448597

2017-07-15 15:15:26 812

原创 python字符串转日期,日期相加减

1、字符串转日期:通过 time.srtptime()实现import timestr_time = time.srtptime("20170620","%Y%m%d")print str_time#输出time.struct_time(tm_year=2017, tm_mon=6, tm_mday=20, tm_hour=0, tm_min=0, tm_sec=0, tm_w

2017-06-20 20:14:13 10785 1

转载 用python写MapReduce函数——以WordCount为例

阅读目录1. Python MapReduce 代码2. 在Hadoop上运行python代码3. 利用python的迭代器和生成器优化Mapper 和 Reducer代码4. 参考      尽管Hadoop框架是用java写的,但是Hadoop程序不限于java,可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例,而不是用Jython

2017-05-25 14:03:56 1940

转载 搜索意图识别浅析

转自:http://www.tuicool.com/articles/aIby6be对于搜索引擎来讲,很多情况下只需要用户在搜索输入框内输入所需要查询的内容就可以了,其余的事情就全部交给搜索引擎去处理。理想的情况下,搜索引擎会优先返回用户想要的结果。理想很丰满,但总会存在一些骨感的现实,用户通过搜索无法找到最想要的结果。如果应用中压根不存在用户搜索的内容,倒还可以理解。反之的话,就是一个大

2017-05-22 21:15:26 18043 2

原创 Linux下zip和unzip解压缩文件命令

zip命令可以用来将文件压缩成为常用的zip格式。unzip命令则用来解压缩zip文件。1. 我想把一个文件abc.txt和一个目录dir1压缩成为yasuo.zip:# zip -r yasuo.zip abc.txt dir12.我下载了一个yasuo.zip文件,想解压缩:# unzip yasuo.zip3.我当前目录下有abc1.zip,abc2.zip和abc3.z

2017-05-18 11:06:53 844

转载 利用Linux命令行进行文本按行去重并按重复次数排序

linux命令行提供了非常强大的文本处理功能,组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort,uniq和cut。其中,sort主要功能是排序,uniq主要功能是实现相邻文本行的去重,cut可以从文本行中提取相应的文本列(简单地说,就是按列操作文本行)。 用于演示的测试文件内容如下: [p

2017-05-14 15:25:10 1579

原创 awk工作中常用命令介绍---不断更新中

1、删除文件的第一行数据(NR记录行数)     awk '{if(NR>1) print $0}'  file > new_file2、输出指定的列,从1开始记数的。比如输出第三列数据    awk -F"\T"  '{print $3}'  file >  new_file3、去除空行,通过$0判断整行是否为空字符串【$0代表整行】    awk '{if($0!="")

2017-05-11 17:13:25 284

原创 python开发中用到的知识点汇总---不断更新中

1、字典dictionary查找,找到key对应的value,则返回对应的value;若无对应的key,则返回默认值---函数dic.get()dic.get(key, defalut)       【注】若不需要默认值,也可以通过dic[key]方式获取value2、去除行尾的换行符---strip("\n")line.strip().strip("\n")【注】有时仅用st

2017-05-11 16:43:22 492

常用中文停用词

常用的中文停用词,停止词,stopword

2017-05-08

20news-bydate.tar.gz 文本分类 数据集 20news

20news-bydate.tar.gz 文本分类 数据集 20news

2016-05-19

集体智慧编程(中文版)

本书以机器学习与计算统计为主题背景,专门讲述如何挖掘和分析Web上的数据和资源,如何分析用户体验、市场营销、个人品味等诸多信息,并得出有用的结论,通过复杂的算法来从Web网站获取、收集并分析用户的数据和反馈信息,以便创造新的用户价值和商业价值。全书内容翔实,包括协作过滤技术(实现关联产品推荐功能)、集群数据分析(在大规模数据集中发掘相似的数据子集)、搜索引擎核心技术(爬虫、索引、查询引擎、PageRank算法等)、搜索海量信息并进行分析统计得出结论的优化算法、贝叶斯过滤技术(垃圾邮件过滤、文本过滤)、用决策树技术实现预测和决策建模功能、社交网络的信息匹配技术、机器学习和人工智能应用等。 本书是Web开发者、架构师、应用工程师等的绝佳选择。

2016-02-25

推荐系统实践

推荐系统实践,推荐算法讲解 很好的一本书

2016-02-24

codeblocks使用教程 linux版

linux版本的codeblocks使用教程,简单明了,希望对学习者有所帮助

2015-09-23

C++ Primer 第五版 课本源代码 code

C++ Primer 第五版 课本源代码 code

2015-04-03

rfc2616中文版

rfc2616中文版,还不错,有需要的可以看一下

2013-07-29

2012年5月上半年软件设计师考试试题及其答案

2012年5月上半年软件设计师考试试题及其答案,希望对软考的朋友们有所帮助

2013-05-14

2011下半年软件设计师试题及其答案

2011年下半年的软件设计师试题及其答案,自己看了下还不错,希望对打算软考的有帮助

2012-07-27

2012软件设计师试题及答案

2012年5月份“软件设计师”软考真题及其答案,希望对大家有所帮组!!

2012-07-27

security入门

在网上找的spring security3.0开发入门,感觉讲的还不错,跟着操作,都可以运行。希望对正在学习security的你有所帮助。过几天会自己总结一个比较系统的学习笔记,希望大家多多关注,多多交流,互相进步。

2012-07-12

Maven下建立web工程详细步骤

在Eclipse中如何运用Maven建立自己的web项目,在网上找了篇文档感觉不错,同时对步骤进行了些许细化,比较清晰,希望对初学者有所帮助。

2012-07-11

Spring Security 3.x.chm 中文参考手册

Spring Security 3.x中文参考手册.chm,是好不容易在网上找到的,版面格式可能稍有点乱,不过还是不错的,希望对做开发的朋友有帮助;同时,如果大家找到更好的版本,希望可以拿出来与大家一起分享。

2012-07-09

Spring2.5+Struts1.3.8+Hibernate3.0整合

Spring2.5+Struts1.3.8+Hibernate3.0整合详细配置 希望对初学者有所帮助

2012-05-31

struts1.2源码

struts1.2源码 struts1.2下载 struts1.2的jar包 struts1.2

2012-05-31

ssh1实现简单的增删查改i+ssh2实现crud

用ssh1和ssh2整合开发,实现了简单的增删查改功能,希望对初学者有所帮助。

2012-05-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除