程序员阿浪

原创 【Python爬虫实战】【天天基金网】想要低风险+心动收益？5分钟学会筛选优质债券基金

【Python爬虫实战】5分钟学会筛选优质债券基金前言一、债券基金1.什么是债券基金2.债券基金适合人群3.如何筛选债券基金4.根据个人需求选择合适的债券基金二、爬虫步骤0.目标1.引入库2.准备爬虫需要的模块2.1 URL访问模块2.2 Json处理模块2.3 正则表达式模块2.4 基金经理信息封装模块2.5 爬取天天基金网页模块2.6 保存数据转存Excel模块3.执行main函数三、运行过程&结果展示四、总结前言大家好，我是程序员阿浪，上一期我们介绍了货币基金的筛选规则和爬虫教程，没有想到

原创 【python爬虫实战】【天天基金网】还在用余额宝存钱？5分钟教你学会筛选优质货币基金

五分钟学会筛选优质货币基金前言一、货币基金1.什么是货币基金2.如何筛选货币基金二、爬虫步骤（冲！0.目标1.引入库2.准备爬虫需要的模块2.1 URL访问模块2.2 Json处理模块（网页异步加载需要）2.3 正则表达式模块2.4 爬取天天基金网页模块（主要）2.5 保存数据转存Excel模块3 执行main函数三、运行过程&结果展示四、总结前言大家好，我是程序员阿浪，由于在疫情期间，阿浪闲来无事想学习一些理财知识，做一下财富自由的白日梦（ε=(゜ロ゜;)┛，然后就报名了财富星课堂的一个关于

原创 【机试刷题经验】清北保研机试刷题指南

这篇博客主要是整理了一下我在保研过程中看到的机试经验分享。推荐书目：《王道考研机试指南》清华：主要考察动态规划，数据结构，算法：a. 动态规划考题的主要考点包括：背包问题、区间DP、环形DP、判定性DP、棋盘分割、最长公共子序列、最长上升子序列、编辑距离。b. 数据结构考题的主要考点包括：队列、链表、单调队列、二分、哈希表、快排、归并排、堆排、并查集、霍夫曼树、线段树、二叉树。...

原创 【保研经验】清华大学网络研究院预推免保研经验（2019.9）

写于2019.9.19目录本文目的预推免时的个人情况报考原因进入复试前的准备工作1.联系老师2.针对性复习复试参加流程2019.9.15上机考试2019.9.18专业面试与综合面试感悟本文目的本文的写作目的是帮助有想报考网研院的同学尽可能了解一些清华网研院推免过程中的注意事项。而且我在网上搜索相关经验帖的时候，除了网研院官网几乎没有任何具有利...

原创 【夏令营保研经验】北理计算机，北航计算机夏令营，中科院霸面保研经验（2019.7）

目录参加夏令营时的个人情况北理计算机7.8全天报道7.9上午开营仪式各个实验所宣讲，下午机试7.10上午参观实验室，下午面试北航计算机7.11上午报道，下午机试7.12上午面试，下午摸鱼7.13继续摸鱼，准备第二天中科院的机试笔试7.14领表找老师签字，参加中科院计算所补录的笔试机试7.15体检，中科院计算所面试中科院霸面感悟一些想对学弟学妹...

原创 【英特尔杯比赛】记在DevCloud上训练模型出现的一系列问题与解决方案

写这篇博客的目的是帮助以后参加英特尔杯软件创新大赛的学弟学妹少走弯路：）情况一：qsub myjob.txt时出现如下情况：qsub: script is written in DOS/Windows text format查了很多网上的内容，只有一种方法可以，竟然它说这种DOS/windows的格式不行，那么我就将这个文件转换成Unix文件需要安装一个dos2unix的指令“p...

原创 【已解决】tkinterdnd2 mach-o file, but is an incompatible architecture (have ‘x86_64‘, need ‘arm64‘)

【代码】【解决】tkinterdnd2 mach-o file, but is an incompatible architecture (have ‘x86_64‘, need ‘arm64‘)

原创 MAC Vscode编译c++11 存在红色波形曲线但是程序能正常运行

如何消除红色波浪？添加以下字段进settin.json："C_Cpp.default.compilerArgs": [ "-g", "${file}", "-std=c++11", "-o", "${fileDirname}/${fileBasenameNoExtension}" ]本人的./vscode/setting.json内容参考：{ "code-runner.executorMap": { "cpp": "g+

原创 机器学习翻译任务中的constrain decoding 实现流程方法详解

机器学习翻译任务中的constrain decoding 实现流程前言一、(Vectorized) Lexically constrained decoding with dynamic beam allocation二、GENRE constrain decoding前言在翻译任务中（从一种格式的语言翻译到另一种格式的语言，并不局限于国家自然语言的互相转换，从自然语言翻译到程序代码也算一种，比如Text2SQL任务），通常会涉及到格式化语言的输出，这时候需要constrain decoding算法来避

原创 Json、txt文件等常用读写操作

读取json文件并遍历import jsonjson_file = '/xxx/xxxx.json'with open(json_file,'r',encoding="utf8") as file_obj: dataset = json.load(file_obj)for data in dataset: print(data['Index'])list保存为json文件import jsontotal_json=[ { 'Index':0, 'content':'

原创 【K-S检验】检验两个数据集的分布是否一致

【K-S检验】检验两个数据集的分布是否一致前言：在训练机器学习模型时，遇到了模型在数据集分割出来的test set上预测准确率高，但是在另一个test set数据集上预测准确率很低的情况。第一直觉是判断两个数据集的分布是否一致。K-S检验方法KS-test（Kolmogorov–Smirnov test）一般用来检验两个数据分布是否一致，KS检验不用假设数据的分布情况，算是一种非参数检验方法。下图是两个数据的累积分布函数（CDF）：代码：from scipy.stats import ks_2

原创 【MSRA】微软亚洲研究院实习经验收获整理

【MSRA】微软亚洲研究院实习经验收获整理干货相关VScode连接远程服务器进行开发SCP上传文件到服务器上或从服务器上下载文件解决vscode中引入python包出现“Import “xxx“ could not be resolved”的问题Vscode 连接远程服务器调试FLASK Web项目注：本篇博客不涉及商业机密和项目代码，仅用于记录个人在实习过程中的一些收获和体会。干货相关VScode连接远程服务器进行开发传送门SCP上传文件到服务器上或从服务器上下载文件相关参考链接：1、从服务

原创 （2018-2021年）Uncertainty 相关SOTA文献笔记整理

Uncertainty 文献笔记一边读论文，一边思考最近大家在这块都研究哪些内容，然后考虑哪些点还有进一步研究的价值.ACLWord-Level Uncertainty Estimation for Black-Box Text Classifiers using RNNs摘要：估计神经网络预测的不确定性为更可靠和可信的文本分类铺平了道路。然而，常见的不确定性估计方法仍然是黑盒，没有解释哪些特性导致了预测的不确定性。这阻碍了用户理解不可靠模型行为的原因。本文提出了一种文本分类器不确定性在wor

原创 神经机器翻译（NMT）中的不确定性（Uncertainty）应用思考

神经机器翻译（NMT）中的不确定性（Uncertainty）应用思考前言什么是不确定性？Uncertainty 应用NMT中量化Uncertainty的常见思路总结前言本文的目的是帮助笔者对实习一个多月来调研的NMT不确定性课题进行整理和复盘，笔者以个人较为粗浅的理解阐述不确定性在NMT领域的State-of-the-art(SOTA)研究工作，以及近年来学术界在NMT uncertainty这个方向的着眼点。大家取其精华去其糟粕，如有谬误欢迎各位批评指正～什么是不确定性？不确定性（Uncertai

原创 【阅读笔记】《Uncertainty-Aware Curriculum Learning for Neural Machine Translation》(ACL2020)

《Uncertainty-Aware Curriculum Learning for Neural Machine Translation》学习目标：初步了解NMT领域知识，理解常用方法和术语建议：新手可以先看整理的NMT常见术语，方便理解全文摘要神经机器翻译(NMT)已经被证明易于课程学习（curriculum learning），在不同的训练阶段，以简单-困难的顺序学习样本。关键难度包括数据难度和模型能力的评估。我们提出了具有不确定性意识的课程学习模式，这种模式的动机来源是：1) 翻译pair的

原创 NMT（神经机器翻译Neural Machine Translation）常用术语

神经机器翻译Neural Machine Translation的常用术语：

原创 【阅读笔记】《Analyzing Uncertainty in Neural Machine Translation》(ICML2018)

学习目标：初步了解NMT领域成果，理解常用方法和术语摘要解决的问题创新方法与主要思路思考和收获文章得到的结论重点加粗图6自己的发现：对于罕见词sampling的效果更好，对于常见词，beam5的效果更好在构建翻译的模型的时候，基本上有两种不确定性，一种是任务本身固有的不确定性，另一种是数据收集过程中存在的不确定性。内在的不确定性不确定性的一个来源是一句话会有几种等价的翻译。因为在翻译的过程中或多或少是可以直译的，即使字面上有很多表达相同意思的方法。句子的表达可以是主动的，也可以是被动的，

原创 LSTM中对time step的理解

以下内容摘抄自stack overflow：一句话理解：自循环单元的循环次数引用Chris Olah’s blog开始说起:In a recurrent neural network you have multiple repetitions of the same cell. The way inference goes is - you take some input (x0), pass it through the cell to get some output1(depicted wit

转载 使用python 新建文件夹以及递归创建文件夹

如何使用python 新建文件夹以及递归创建文件夹os.mkdir使用python创建文件夹，通常使用os.mkdir方法，在使用这个方法时有几个小的细节需要注意，假设你的代码是这样编写的import osos.mkdir('/dir_1/dir_2/dir_3')你需要保证/dir_1/dir_2 是存在的，否则将引发FileNotFoundError，如果/dir_1/dir_2/dir_3 已经存在，又会引发FileExistsError，通常，我会使用os.path.exists方法

原创 【已解决】python导入其他目录下的包出现“no module named xx”的问题

【已解决】python导入其他目录下的包出现“no module named xx”的问题问题描述：在项目开发过程中遇到了一个玄学的问题，A包启动main方法，A包里面的import是正常可以导入的（因为直接引入同级目录下的包），当处于另一个目录的B包引入A包时，出现了A包中的某一个module找不到的情况。【解决方案】点击被引入出错的包的父目录，如图：此时重新运行B包，问题即可解决。参考：[1] https://www.cnblogs.com/deliaries/p/11315915.html

原创 【代码编译】项目核心python代码编译为.so文件

当我们完成项目代码开发并封装为服务交付给客户前，往往需要将项目中的核心代码进行加密编译，防止泄露商业机密。本文的主要目的是演示如何将python文件加密编译为.so文件，并通过实际项目demo进行演示。

原创 【Gitlab CI/CD】.gitlab-ci.yml文件工作原理讲解

.gitlab-ci.yml使gitlab自动检测push代码并封装为Docker上传初步认识CICD.gitlab-ci.yml文件功能原理介绍配置项目自动生成docker初步认识CICDCI：Continuous Integration 持续集成CD：Continuous Delivery/Deployment 持续交付/部署当前项目需求需要接入Gitlab的CICD功能，CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部

原创 两种方法去除页眉页脚：基于OCR识别后的文本／基于图片切割

两种方法去除页眉页脚前言1.基于转换为图片后的页眉页脚高度定位识别切割2.基于OCR识别后的文本去除前言如何去掉PDF或者WORD的页眉或者页脚？由于需求涉及文本比对，页眉页脚会影响比对准确率，当前试过两种可以有效去除页眉页脚的方法，供大家参考思路和方法。1.基于转换为图片后的页眉页脚高度定位识别切割核心思路：首先将文档每一页转为图片，基于opencv的方法将图片二值化（即能分开空白区域和黑色文字像素），将图片降维存储为“心电图”，即可理解为将图片从上往下横向扫描切割，出现黑丝文字的区域越密集，“

原创 Windows和Linux平台上实现Word转PDF

Windows和Linux平台上实现Word转PDF前言Windows平台Word转PDFLinux平台Word转PDF参考文献前言调研后发现网上有很多解决办法，Windows平台上word和PDF可以完美的转换，但大部分业务是要求在Linux上运行的，基于Windows的方法无法移植到Linux上运行，现有的Linux上的Word文档转换为PDF的方法验证后大多数存在PDF和Word格式不一致的问题（比如PDF与Word排版页数不一致，文字排列更紧凑等），所以本文的主要目标是解决Linux平台上Wor

原创 安装anaconda以使用不同版本的python方法

1.搭建anaconda环境下载anaconda包；$ wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh安装anaconda依赖；$ yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver 安装anaconda；$ ba

原创 【Tmux】如何在关闭会话后还能让远端服务器继续执行程序

答案就是Tmux：Tmux使用教程假如现在有一个python程序需要执行，但是本机上执行的很慢（可能需要跑2-3天），这时候可以利用Tmux工具，让自己的服务器开一个会话跑这个程序，这样即使关闭会话窗口和远程服务器连接，下次连接上时只需要绑定Tmux的运行程序的会话，即可重新查看程序的执行状态或者获取程序运行结果。举例：1.新建会话 tmux new -s my_session。2.在 Tmux 窗口运行所需的程序。3.按下快捷键Ctrl+b d将会话分离。4.下次使用时，重新连接到会话tmu

原创 Docker迅速入门笔记整理+Flask项目部署实战

Docker学习笔记整理PS：关注文末公众号，可领取Docker电子版学习资料1.概念&原理Docker就是集装箱原理，现在都流行云计算了，云计算就好比大货轮。docker就是集装箱。docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。简言之，就是可以在Linux上镜像使用的这么一个容器。docker可以在什么情况下使用web

原创 【4Paradigm】第四范式实习经验与收获整理

实习职位：AI产品研发项目一：要素提取根据接口API需求文档，实现创建任务，启动任务，查看任务状态以及下载任务等业务功能工具：Postman,Pycharm,Navicat,Git干货：Postman使用方法速记Gitlab合作，克隆项目，创建分支，上传代码方法写代码中get的经验Flask项目中的BluePoint()蓝图使用： job = Blueprint('job', __name__)主要是分担路由压力，把路由逻辑分散到各个业务功能模块文件中，不然所有的路由都在一

原创 Postman使用方法速记

原创 【剑指offer37】【C++】序列化二叉树（困难）【BFS】

【剑指offer37】【C++】序列化二叉树（困难）【BFS】题目题解代码题目请实现两个函数，分别用来序列化和反序列化二叉树。示例:你可以将以下二叉树： 1 / \ 2 3 / \ 4 5序列化为 “[1,2,3,null,null,4,5]”题解思路：力扣精选题解代码/** * Definition for a binary tree node. * struct TreeNode { * int val; * Tr

原创 【实习心路历程分享】【大厂后端&算法面经】字节AI-Lab、旷视、滴滴、快手、商汤、第四范式

本文的目的是复盘整理一下笔者在今年寒假期间对各厂实习面试经历，早日经历社会的毒打，方能未雨绸缪，希望未来能够找到一份不错的工作。本文主要分为以下四个部分，梳理我在找实习过程中的心路历程。后端研发 or 算法? 我该如何选择？如何找实习（了解企业渠道）？如何准备简历？大厂实战面经1.后端研发 or 算法? 该如何选择？在这个问题上，笔者思考了很久，我也相信有不少情况和我类似的同学可能会面临这个困惑。作为一个计算机专业的研究生，以后自己究竟想找算法还是后端开发，如果做算法的话，目前的算法岗JD大

转载 【LeetCode322】【动态规划框架思维】零钱兑换

参考东哥的框架思维整理：笔记：首先，动态规划问题的一般形式就是求最值。求解动态规划的核心问题是穷举。动态规划的穷举有点特别，因为这类问题存在重叠子问题，如果暴力穷举的话效率会极其低下，所以需要备忘录或者 DP table来优化穷举过程，避免不必要的计算。动态规划问题一定会具备「最优子结构」，才能通过子问题的最值得到原问题的最值。虽然动态规划的核心思想就是穷举求最值，但是问题可以千变万化，穷举所有可行解其实并不是一件容易的事，只有列出正确的「状态转移方程」才能正确地穷举。明确 base cas

原创 【Kaggle】【机器学习项目】【决策树与随机森林】机器学习入门之机器学习模型训练验证基本步骤

机器学习小白总结笔记Kaggle入门机器学习题目链接：https://www.kaggle.com/learn/intro-to-machine-learning最基本的应用流程：1.提取X，y数据y其实就是想预测的特征（比如房价），X就是其他的你认为对预测y最有用的特征（比如面积，窗户数，厕所数等）2.train_test_split将数据集划分成训练集train_X,train_y和测试(验证)集val_X,val_y3.指定某种机器学习模型（决策树和随机森林） 随机森林就是多颗决策树

原创 【C++实现】安卓手机锁屏手势密码种数【模拟+递归搜索】

【C++实现】安卓手机锁屏手势密码种数【模拟+递归搜索】题目：计算出安卓手机上的解锁屏幕手势密码的种类数目（正确答案：389112种）需要考虑的实际情况：1.用户最少划4个点作为手势密码2.不考虑用户的误触，两点之间可以按“日”轨迹滑动3.两点之间如果存在第三个点，这个第三个点一定被手势激活思路：主要利用模拟和递归搜索。正确的规则如下：根据规则编写递归代码：参数说明： n: 代表手势点的个数 count: 代表在n个手势点的情况下，合法的组合种数 x,y: 代表当前状态下的手

原创 【已解决】Chrome 出现Your Connection is not private 问题

【已解决】Chrome 出现Your Connection is not private 问题鼠标点击聚焦错误页面上，键盘依次按下 thisisunsafe 即可ps: 可以输入 badidea 或者 thisisunsafe 忽略错误，就是在 Chrome 的错误页面，点页面空白处一下让键盘焦点处于页面内，然后依次按下 thisisunsafe，(没错就像GTA输秘籍一样)页面就会自动刷新了。...

原创 【剑指offer36】【C++】二叉搜索树与双向链表【运用中序遍历】

【剑指offer36】【C++】二叉搜索树与双向链表【运用中序遍历】题目题解代码题目输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的循环双向链表。要求不能创建任何新的节点，只能调整树中节点指针的指向。为了让您更好地理解问题，以下面的二叉搜索树为例：我们希望将这个二叉搜索树转化为双向循环链表。链表中的每个节点都有一个前驱和后继指针。对于双向循环链表，第一个节点的前驱是最后一个节点，最后一个节点的后继是第一个节点。下图展示了上面的二叉搜索树转化成的链表。“head” 表示指向链表中有最小元素的节点

原创 【剑指offer35】【C++】复杂链表的复制【利用STL的map&原链表上修改】

【剑指offer35】【C++】复杂链表的复制【利用STL的map】题目题解代码题目请实现 copyRandomList 函数，复制一个复杂链表。在复杂链表中，每个节点除了有一个 next 指针指向下一个节点，还有一个 random 指针指向链表中的任意节点或者 null。示例 1：输入：head = [[7,null],[13,0],[11,4],[10,2],[1,0]]输出：[[7,null],[13,0],[11,4],[10,2],[1,0]]示例 2：输入：head = [[

原创 【剑指offer34】【C++】二叉树中和为某一值的路径【dfs递归，搞懂递归套路】

【剑指offer34】【C++】二叉树中和为某一值的路径【dfs递归，搞懂递归套路】题目题解代码题目输入一棵二叉树和一个整数，打印出二叉树中节点值的和为输入整数的所有路径。从树的根节点开始往下一直到叶节点所经过的节点形成一条路径。示例:给定如下二叉树，以及目标和 sum = 22， 5 / \ 4 8 / / \ 11 13 4 / \ / \ 7 2 5 1返回:

原创 【剑指offer33】【C++】二叉搜索树的后续遍历序列【递归】

【剑指offer33】【C++】二叉搜索树的后续遍历序列【递归】题目题解代码题目输入一个整数数组，判断该数组是不是某二叉搜索树的后序遍历结果。如果是则返回 true，否则返回 false。假设输入的数组的任意两个数字都互不相同。参考以下这颗二叉搜索树： 5 / \ 2 6 / \ 1 3示例 1：输入: [1,6,3,2,5]输出: false示例 2：输入: [1,3,2,6,5]输出: true提示：数组长度 <= 1000题解

原创 【剑指offer32-III】【C++】从上到下打印二叉树III（之字形打印二叉树）【剑指offer32-II基础上+方向控制插入列表顺序】

【剑指offer32-III】【C++】从上到下打印二叉树III（之字形打印二叉树）【剑指offer32-II基础上+方向控制插入列表顺序】题目题解代码题目请实现一个函数按照之字形顺序打印二叉树，即第一行按照从左到右的顺序打印，第二层按照从右到左的顺序打印，第三行再按照从左到右的顺序打印，其他行以此类推。例如:给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回其层次遍历结果：[ [3], [