- 博客(70)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【浅谈量化金融与人工智能——结合中国（横琴）国际高校量化金融大赛总决赛三等奖比赛经历】
近年来，随着人脸识别，语音识别，自动驾驶等许多领域的火热发展，人工智能逐渐被推向发展浪潮。那么当投资遇上人工智能就有了现在的一种新兴领域——量化金融。人工智能一个很重要的应用领域就是预测，基于今天的数据与历史的数据，可对未来经济走势进行判断。在金融和投资领域，人工智能技术可以对股票，投资标的的价格走势作出预测，从而使得计算机替人类进行决策，并实现自动化交易来获取利润。...
2018-09-12 16:39:01
2576
1
原创 2018中国高校计算机大赛—大数据挑战赛（top2解题方案）
比赛链接：https://www.kesci.com/home/competition/5ab8c36a8643e33f5138cba4/leaderboard/1相关链接：https://mp.weixin.qq.com/s/fSRB5T3himBEYrLwW9p62A比赛介绍：https://mp.weixin.qq.com/s/vYtcnwLtHsb70viejBR3Rw经过激烈...
2018-09-12 16:32:56
9169
1
原创 通过github/gitlab实现本地代码和服务器里的代码实现同步
主要机制是通过git pull来实现代码同步的，我么都知道git可以实现多人协作开发代码的功能，也就是如果团队其他人向远程仓库提交了新的代码，那么当自己也想提交新代码到远程仓库时就需要git pull origin master来更新自己本地的代码到最新，然后再采用git push orgin master来把自己的代码推送到远程代码库。因此基于此流程可以让我们在git push origin master更新远程代码库的同时，触发一个shell脚本来自动让其他终端来自动git pull origin
2020-10-26 20:18:17
984
原创 再看经典召回算法
在学习和应用推荐算法的过程中，发现越来越多的文章在描述深度学习应用在推荐系统上的方法，不可否认深度学习的发展给推荐系统带来了巨大的进步，但是传统的经典算法仍然是非常值得学习的，毕竟可以作为一个比较高的算法基线，同时也是快速上手和搭建推荐系统的好方法，因此这篇文章就主要总结和梳理一下传统的经典召回算法。一般经典的召回方法即采用多路召回的方式，如下图所示。通俗的来说多路召回就是从不同的角度采用一定的方法针对给定用户来从候选物品库中挑选一定数量的物品，最终把每路挑选出来的物品合起来一同交给排序模型进行
2020-10-18 11:09:44
562
原创 jupyter notebook的使用
个人觉得jupyter notebook是远程连接服务器，使用服务器调试和写代码的利器。1.一方面可以通过浏览器的形式连接到远程服务器，使用服务器的强大计算资源2.另一方面，在调试代码方面，可以进行单步调试，快速输出每一步的运行结果，有利于程序的快速开发与debug。3.除此之外，jupyter notebook还可以开启terminal，执行命令。在远程连接服务器时，需要先在服务器端开启jupyter notebook服务，开启服务后，一般打开远程访问网址时，需要输入密码，这时候就需.
2020-07-31 17:42:08
236
原创 腾讯云 硬盘 挂载到HOME目录 依次执行
fdisk -l #查看没有挂载的磁盘df -lhT #查看系统盘是哪种文件格式ext4或者ext3，目前最新的都是ext4mkfs.ext4 /dev/vdb #格式化需要挂载的盘符 此处为/dev/vdbmount /dev/vdb /home/ #默认挂载点home，也可以自己创建一个文件夹echo '/dev/vdb /home ext4 defaults 0...
2020-03-31 16:18:28
430
原创 微信小程序开发登录踩坑问题（二）
（1）对于点击需要访问内容时自动跳出登录界面用wx.navigateTo 但是要实现函数节流 ：https://segmentfault.com/a/1190000012995590 解决多次跳转（2）对于在用户tab页面 自动跳出登录界面：用wx.redirectTo 因为没登录所以销毁用户tab页面，这是不需要函数节流，因为已经销毁用户tab页面。最后跳转到同一个用户登录界面。...
2020-03-17 22:32:27
391
原创 微信小程序前端
前端中经常想把搜索框和tab分类框固定在顶端，而内容需要滑动。因此可以把固定的组件放一个view把滑动的放一个view这时出现一个问题，发现滑动的内容view上面被固定的view挡住了，这是就要用magin_top解决。首先查看固定的view高度h，然后把滑动的view高度设置为h+offset...
2020-03-17 22:17:01
211
原创 微信小程序授权登录问题总结
1.明确微信小程序登录流程。首先对于新用户来说，后台数据库里没有用户信息，因此首先用button让用户授权基本微信信息，然后调用wx.login()获取临时code，然后通过临时code获取用户唯一openid，然后在数据库建议一个表 里面有openid 与用户表的id进行对应。然后在用户表中插入该新用户。而对于登陆过的用户 则不需要用button来通过用户授权得到用户信息了，这是我们的数...
2020-03-17 22:12:14
2366
原创 Flask 结合 数据库
Linux服务器重置数据库的root账号密码 cat /var/log/mysqld.log |grep 'password' SET PASSWORD = PASSWORD('123456'); set global validate_password_policy=0; set global validate_password_length=1; ALTER US...
2020-03-15 10:22:02
158
原创 python使用Mysql数据库
0：新建数据库 数据库名：food_db CREATE DATABASE `food_db` DEFAULT CHARACTER SET = `utf8mb4`;1：新建管理员数据表 课程文件 文件夹中 数据库文件 文件夹 有初始化的所有SQL2：使用 flask-sqlacodegen 扩展 方便快速生成 ORM model 2.1 pip i...
2020-03-15 10:18:48
148
原创 虚拟机Centos如何和主机共享目录
1.mkdir /mnt/cdrom2.mount /dev/cdrom /mnt/cdrom3.cp -R /mnt/cdrom /usr/local/src/VBoxAdditions4.yum install -y gcc gcc-devel gcc-c++ gcc-c++-devel make kernel kernel-devel bzip2...
2020-03-15 10:12:05
502
原创 centos安装mysql步骤以及忘记mysql密码的解决方法
CentOS7默认安装mariadb数据库:yum remove mariadb-libs.x86_64下载Mysql源:wgethttps://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm安装源:yum localinstall mysql57-community-release-el7-8.noarch.rp...
2020-03-15 10:03:03
276
原创 “万物皆可embedding”
不知道大家有没有这种感受，在学习推荐系统算法模型时，少不了embedding的应用，有的推荐算法模型甚至可以说就是在做embedding的过程，可见embedding在推荐系统中的重要性。这篇文章就专门把embedding单独提出来，梳理一下embedding在推荐系统中的应用。以下内容主要从深度学习方法和传统的协同过滤方法两个方面加深和理解在推荐系统领域对embedding的认识，感受下“e...
2020-03-01 15:16:36
785
原创 不花一分钱快速搭建自己的微信公众号机器人
▌前言前些天闲来无事想弄个微信公众号机器人，因为可以用机器人做好多事情，比如可以让它变成一个智能聊天机器人，也可以让它爬取并推送arxiv上自己想要的论文，还可以让它绘制并推送有关肺炎疫情的曲线图等等，所有的这些只需要实现对应指令的接口即可，也就是给公众号发送指定的指令，就会给你推送该指令对应的任务回复。搜了全网资料，没有找到一个完整介绍搭建微信公众号机器人全过程的，或者需要付费才能看搭建...
2020-02-09 21:32:45
6968
原创 搭建自己的微信公众号聊天机器人-基于深度学习
截至2020.1.31 1点13分已经完成模型的部署与聊天机器人的上线。总共花了整整两天时间，总结一下过程中学到的和踩过的坑，持续更新中~1.github的使用。 git文件的命名不能有_符号，否则不能上传成功。2.模型配合要用到神经网络，因此最好用python语言写web和服务器端，所以采用flask3，学会如何把自己的ubuntu电脑编程一台服务器，需要把本地ip和外网打通...
2020-01-31 01:18:03
1142
原创 序列特征的处理方法之二：基于卷积神经网络方法
前言上一篇文章介绍了基本的基于注意力机制方法对序列特征的处理，这篇主要介绍一下基本的基于卷积神经网络方法对序列特征的处理，也就是TextCNN方法。序列特征的介绍，背景以及应用可以参考上一篇的详细介绍，这里简单回顾一下定义，用户在使用APP或网站的时候，用户会产生一些针对物品的行为，比如点击感兴趣的物品，收藏或购买物品等，而这些行为往往代表着用户对这些物品是感兴趣的，而将这些交互过的物品放在时...
2020-01-28 21:27:12
1438
原创 序列特征的处理方法之一：基于注意力机制方法
前言之前两篇讲过稠密特征和多值类别特征加入CTR预估模型的常用处理方法，这篇介绍一下针对序列特征采用的最基本的注意力机制方法。我们都知道用户在使用APP或网站的时候，用户会产生一些针对物品的行为，比如点击感兴趣的物品，收藏或购买物品等，而这些行为往往代表着用户对这些物品是感兴趣的，而将这些交互过的物品放在时间轴来看，就形成了用户感兴趣的物品序列，如下图所示： ...
2020-01-16 22:53:10
2510
原创 多值类别特征加入CTR预估模型的方法
我们都知道一般单值类别特征加入到CTR预估模型的方法是先对单值类别特征进行one-hot，然后和embedding 矩阵相乘转换成多维稠密特征，如下图 1 所示：▲ 图1. 单值类别特征处理方法上篇文章稠密特征加入CTR预估模型的方法中又总结了稠密特征加入到CTR预估模型中的方法。而在现实实际问题中，往往还会出现多值类别特征，比如我接触到的2019腾讯广告算法大赛中用户的行为兴趣特征...
2020-01-06 17:48:49
645
1
原创 CTR预估模型的发展有这样的规律
前深度学习时代在深度学习还没有引入到点击率（Click-Through Rate，CTR）预估之前，CTR预估的模型大概经历了三个阶段：逻辑回归（Logistic Regression，LR），因子分解机（Factorization Machine，FM）、梯度提升树（Gradient Boosting Decision Tree，GBDT）。经典的逻辑回归算法由于其强的可解释性与易工程化...
2019-12-28 21:20:04
374
原创 不为人知的稠密特征加入CTR预估模型的方法
稠密特征一般是相对稀疏特征来说的，我们知道类别特征经过独热编码之后比较稀疏，比如类别 [‘小猫’，‘小狗’，‘小熊’，‘小猴’] 被独热编码后的数据结构为[[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]]，可以看到这种数据很稀疏，但是像桌子的长度这种稠密特征数据一般就是 [3.4,2.6,8.9,6.7] 这种。一般针对类别特征都是通过词嵌入的方法把稀疏特征转化为稠...
2019-12-28 21:12:46
910
原创 Hierarchical Softmax（分层Softmax）
Hierarchical Softmax（分层Softmax）： 使用分级softmax分类器（相当于一个树型分类器，每个节点都是可能是一个二分类器），其计算复杂度是前面的log级别。在构造分级softmax分类器时，仿造哈夫曼树，一般常用的词会放在树的顶部位置，而不常用的词则会放在树的更深处，其并不是一个平衡的二叉树。 按照这种规律，常用的靠近树根，因此走的路少，...
2019-12-09 17:22:26
1374
1
原创 tar命令分割文件方便上传百度云盘
要将data.tar分割成多个2G的文件，这样不用会员就可以上传到百度云盘,可以用下面的命令：tar cjf - data.tar |split -b 2048m - data.tar.bz2.完成后会产生下列文件：data.tar.bz2.aa, data.tar.bz2.ab, data.tar.bz2.ac要解压的时候只要执行下面的命令就可以了：cat data.tar.bz2...
2019-09-20 13:15:05
1120
原创 apt-get 常见操作
apt-get update軟體資料庫同步：apt-get update 會根據 /etc/apt/sources.list 中設定到 APT Server 去更新軟體資料庫，在任何更新之前最好都先做這一個動作，讓軟體資料保持在最新的狀況之下。/etc/apt/sources.list 可以用 apt-setup 來設定。apt-get install軟體安裝：安裝軟體最怕的就是軟體間的相...
2019-09-18 17:07:09
113
原创 推荐算法相关名词解释(updating)
Click-through rate:点击率dense vector:稠密矩阵,例如 embedding vector etc.sparse vector: 稀疏矩阵,例如 one-hot vector etc.一般通过embedding操作或FM操作把sparse vector转化为dense vectorFM:Factorization Machine,因子分解机 6 = 4 + ...
2019-09-18 15:36:30
1784
原创 mmdetection 安装与部署（针对cuda 9.0版本 sensetime服务器环境）
conda create -n open-mmlab python=3.6 -y source activate open-mmlab 代理设置：export http_proxy=http://172.16.16.251:8888;export https_proxy=http://172.16.16.251:8888; cuda setting: export ...
2019-09-17 17:16:45
1416
原创 Ubuntu安装QQ、微信，百度网盘。deepinQQ、deepin微信(针对版本不兼容问题)、deepin百度网盘
一.首先在ubuntu中安装deepin-wine环境在githuub上有人已经将deepin-wine环境打包好了，不需要我们一一安装依赖项可以去https://github.com/wszqkzqk/deepin-wine-ubuntu 查看具体安装步骤也可以使用下面代码进行下载和安装git clone https://gitee.com/wszqkzqk/.git安装命...
2019-09-16 19:02:54
2267
原创 python学习笔记二
Python 中 map(), filter()和 zip() 函数的用法，*args,**kwargsmap()函数——作用于list每一个元素 map()是 Python 内置的高阶函数，它接收一个函数 f() 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。(这个函数与 R 中的 lapply 非常相似) 用法...
2019-09-09 11:14:35
80
原创 推荐系统学习笔记与感悟（结合商汤做CV产品）
（1）深入理解推荐需求比算法更重要（2）深入理解业务目标比算法更重要（3）对数据的理解和处理比算法更重要（4）对用户的理解比算法更重要（5）多个模型的融合可以提高预测准确性，但实际应用中需要权衡成本（6）一个推荐系统应该从多个指标去综合评价，追求单一指标是危险的（生态思维）（7）随着移动互联网时代的发展，智能推荐会变得越来越重要...
2019-09-08 22:06:34
249
原创 python 学习笔记一（阅读github源码）
from collections import OrderedDict, namedtuple（1）OrderedDictimport collectionsprint 'Regular dictionary:'d={}d['a']='A'd['b']='B'd['c']='C'for k,v in d.items(): print k,vprint '\nOrd...
2019-09-08 15:44:47
415
原创 vim常用基本命令
u:撤销x:删除ctrl + v: visible blocky:复制p:粘贴i:插入o:下一行nvcc -V :查看cuda版本
2019-09-04 16:09:17
73
原创 oh my zsh的学习与配置
1.先安装zsh2.再安装oh my zsh， github 链接：https://github.com/robbyrussell/oh-my-zsh 里面有安装教程3.打开terminal自动切换：在.bashrc中添加一行：exec /usr/bin/zsh4.更改风格：在 .zshrc 里面可以更改theme af-magic5.使用插件gitgit...
2019-09-02 19:43:38
205
原创 编程高效的工具总结
1.zsh ,oh my zsh ：插件值得去用,特别是有关github的2.tmux ,oh my tmux3.git github4.ssh 免密登录5.rsync -avz -e ssh6.lftp ：命令传送文件！7.vscode ：远程调试代码（装插件），jupyter代码调试功能(装插件)，python断点调试，python环境激活（）conda激活等8....
2019-09-02 18:14:00
94
原创 总结python导包出问题 Import error:no module XXX
经常我们会遇到一种问题， 就是明明python文件存在，但是当导入的时候，我们会遇到Import error:no module XXX,原因是因为python文件在文件夹下，而文件夹没有__init__.py 文件导致的，比如直接在test.py里from src import misc_utils as util会报错，需要加入__init__.py 文件,在里面import misc...
2019-09-02 13:34:57
1518
原创 tmux工具学习
tmux主要功能：（1）丝滑分屏，如果连接了远程ssh，分屏之后依旧连接了远程服务器（2）保护现场，即使终端关闭之后，进程依旧在运行着，可以连接窗口（3）会话共享，这个目前还没有用到，可以分享自己的操作，让别人连接到自己的会话。tmux分为session，window，pane。新建session：tmux new -s [session name]退出session：tm...
2019-09-01 18:01:45
193
原创 git和github的入门学习
学习的重要性：要成為一個真正的軟體工程師（Software Engineer）除了掌握基礎開發能力外，更重要的是和其他工程師和開發者團隊合作和溝通的能力，所以若你能培養出掌握 Git 等版本控制操作和 Git server 架設的能力，你會更容易參與開放原始碼（open source）的社群和提昇自己在職場上的價值。前言：一般在軟體開發中又分為中央式系統（例如：Subversion、CVS...
2019-08-31 17:47:00
129
原创 sensetime 常用命令笔记
在pytorch下用 tensorboard:安装tensorboardX tensorflowtensorflow-gpu 版本安装：1.13.0cuda 8.0torch 0.4.1.post2torchvision 0.2.1conda创建虚拟env之后，用pip 下载速度快tensorboard --logdir . --port 1334http...
2019-08-30 17:46:29
1889
原创 ubuntu docker 和nvidia-docker加速安装
Docker的基本概念镜像（Image）：类似于虚拟机中的镜像，是一个包含有文件系统的面向Docker引擎的只读模板。 容器（Container）：类似于一个轻量级的沙盒，可以看做是镜像的实例。 仓库（Repository）：类似于代码仓库，这里是镜像仓库，是Docker用来集中存放镜像文件的地方。公司的镜像仓库的地址为 https://registry.sensetime.com/har...
2019-08-19 11:53:54
349
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人