自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

https://space.bilibili.com/59807853

移步b站,关于数学,计算机科学,深度学习,计算机视觉以及文艺的

原创 java jdk 数据结构实现 —— 队列与优先队列

1. 优先队列与堆 大顶堆与小顶堆 Queue<Integer> minHeap = new PriorityQueue<Integer>(); Queue<Integer> maxHeap = new PriorityQueue<Integer>...

2019-04-15 22:33:36

阅读数 576

评论数 0

原创 xgboost 可视化与结果分析

xgboost 的可视化,调用 xgb.to_graphviz 或 xgb.plot_tree 接口; 1. 指定 fmap(feature map) https://www.kaggle.com/mmueller/xgb-feature-importance-python 按照 featur...

2019-04-04 00:42:56

阅读数 1812

评论数 1

原创 python 分段拟合(curve fit)

https://stackoverflow.com/questions/29382903/how-to-apply-piecewise-linear-fit-in-python 使用 np.piecewise 创建分段函数,使用 scipy.optimize.curve_fit 进行拟合: fr...

2019-03-06 22:43:35

阅读数 2699

评论数 0

原创 优先队列(priority queue)的实现

底层数据结构,最简单的情况为一维数组; 两大接口(以大顶堆为例): push 首先将要插入的值置于底层数据结构的末尾:heap[size-1] = value 不断地将其与其父节点比较, heap[parent] &amp;gt;= heap[pos],break 否则交换 hea...

2019-02-24 12:41:28

阅读数 481

评论数 6

原创 python 运算符优先级、Chaining comparison operators

1. ** &gt;&gt; 2**2**3 256 &gt;&gt; (2**2)**3 64 &gt;&gt; 2**(2**3) 256 相同优先级的运算符会优先进行左结合,也即第一个操作数和第二个操作数结合,结果再与第三个操作数结合。对于 ...

2019-02-19 21:56:53

阅读数 429

评论数 0

原创 极简代码 —— list 最小最大索引(argmax/argmin)的实现

def argmin(lst): return min(range(len(lst)), key=lst.__getitem__) def argmax(lst): return max(range(len(lst)), key=lst.__getitem__)

2019-02-11 22:59:47

阅读数 828

评论数 1

原创 极简算法 —— 判断两字符串是否为相同字母的不同顺序组成

将问题转换为统计各个字母的出现顺序: from collections import Counter Counter(str1) == Counter(str2)

2019-02-11 18:48:30

阅读数 1076

评论数 2

原创 scala 偏函数与 map/collect

https://fangjian0423.github.io/2015/06/14/scala-partial/ https://www.jianshu.com/p/fa2ed7ed391e 0. collect 与 map 的区别 由于collect方法接收的是一个偏函数类型,所以它并不...

2019-01-30 19:37:35

阅读数 315

评论数 0

原创 scala 与 spark 并行化

1. .par普通集合转换为并行集合 scala.collection: scala&amp;gt; (1 to 5).foreach(println(_)) 12345 scala&amp;gt; (1 to 5).par.foreach(println(_)) 13254...

2019-01-30 19:06:13

阅读数 285

评论数 1

原创 Spark RDD 之间的依赖关系

RDD就是一个不可变的带分区的记录集合,Spark提供了RDD上的两类操作,转换(transformation)和动作(action)。 转换是用来定义一个新的RDD,包括map, flatMap, filter, union, sample, join, groupByKey, cogroup...

2019-01-30 18:26:21

阅读数 195

评论数 1

原创 Spark utils —— 设置日志级别

1. 通过 SparkContext 指定日志级别 val sc: SparkContext = new SparkContext(sparkConf) sc.setLogLevel("WARN") //sc.setLogLevel("DEBUG") //s...

2019-01-22 22:14:45

阅读数 279

评论数 2

原创 Python 命令的参数

1. -c 执行python语句 $ python -c &quot;print('hello')&quot; hello

2019-01-21 22:28:04

阅读数 210

评论数 2

原创 pandas 学习 ——Series

1. Series 的获得 df.iloc 按行或者按列索引一行,或一列得到的就是一个 Series pd.Series from datetime import datetime dates = [datetime(2011, 1, i) for i in [2, 5, 7, 8, 10...

2019-01-17 22:14:24

阅读数 151

评论数 1

原创 Python 爬虫 ——html 页面的认识

1. 页面中的表格 &lt;table class="..." id="..."&gt; &lt;thead&gt; &lt;tr&gt; &lt;th&gt;...&...

2019-01-17 18:45:54

阅读数 260

评论数 1

原创 Spark 调优 ——cache(persist)与 checkpoint

cache 是对 persist 的进一步调用; 1. 为什么要 checkpoint 为了保证数据安全性,需要对运行出的中间结果进行 checkpoint 最好将结果 checkpoint 到 hdfs,便于集群所有节点进行访问; checkpoint 之前先进行 cache(per...

2019-01-13 22:07:42

阅读数 208

评论数 0

原创 Spark 原理 —— 从 akka 到 spark 集群的启动

1. actor 到 akka Actor 是一种消息并发模型,基于事件模型的并发机制。 Scala 的 Actor 类似于 Java 中的多线程编程,不同在于: Scala 的 Actor 设计的初衷在于尽可能地避免锁和共享状态,从而避免多线程并发时出现资源征用的情况; 原因在于,Java ...

2018-11-11 19:14:09

阅读数 603

评论数 2

原创 强化学习 —— gym

0. gym 下的数据结构 Discrete: gym.spaces.discrete.Discrete env.action_sample 的返回值就是 Discrete 类型 Discrete(n):{0, 1, 2, 3, n-1},表示的是正整数的离散空间; 成员函数: sample...

2018-11-09 19:37:07

阅读数 554

评论数 1

原创 LeetCode 一题多解

1. 括号匹配 20. Valid Parentheses 堆栈版: class Solution(object): def isValid(self, s): &quot;&quot;&quot; :type s: str ...

2018-11-05 21:54:16

阅读数 445

评论数 1

原创 LeetCode 堆栈队列 —— 括号匹配(20、232、155)

1. 堆栈(stack) 20,20. Valid Parentheses,括号匹配,堆栈(python 中使用 list 即可实现表示堆栈,list.append:入栈,list.pop():出栈)实现: 左括号((、[、{)入栈; 右括号()、]、})出栈; 遍历全部字符串后,...

2018-11-05 13:03:01

阅读数 401

评论数 2

原创 LeetCode —— 链表相关(206、141)

0. 数据结构定义 链表节点: class ListNode(object): def __init__(self, x): self.val = x self.next = None 1. 链表 206,翻转链表,206. Reverse L...

2018-11-03 22:29:23

阅读数 281

评论数 1

原创 keras + tensorflow —— 函数式 API编程

1. 实现简单的逻辑回归 from keras import Input from keras import layers from keras.models import Model x = Input(shape=(32, )) # TensorShape([Dimension(None),...

2018-11-03 12:18:41

阅读数 549

评论数 3

原创 keras + tensorflow —— 训练参数数目的计算

1. RNN 模型 Embedding Embedding(input_dim, output_dim,input_length) input_dim 表示字典的大小; outpu_dim 则表示嵌入的维度; 训练参数的数目为:input_dim✖️output_dim; model...

2018-10-30 21:42:08

阅读数 1112

评论数 1

原创 matplotlib —— step、bar、stem、errorbar、hist 图形的绘制

1. plt.step() 与 plt.bar() plt.bar(range(1, len(x)), x, alpha=.4, align=‘center’, label=‘individual’) plt.step(range(1, 14), np.cumsum(x), where=‘mid...

2018-10-23 19:07:12

阅读数 1833

评论数 1

原创 【清单】—— 编程方法、整洁代码与重构

开始时的编写; 代码整洁之道; 代码大全; 编写可读代码的艺术; 后续持续不断地重构; 重构; 重构手册; 修改代码的艺术;

2018-10-15 21:39:27

阅读数 290

评论数 0

原创 字符串算法 —— 两字符串相同的单词

1. navie:集合 intersect 以集合的形式分别存放两字符串,然后求集合交集。 def common_words_naive(str1, str2): str1_set = set(str1.strip().split()) str2_set = set(str2.strip()....

2018-09-27 08:19:53

阅读数 325

评论数 2

原创 机器学习概念 —— 样本距离矩阵

样本(XN⋅dXN⋅dX_{N\cdot d})之间的距离矩阵 N, d = X.shape X_square = np.sum(X*X, axis=1).reshape(N, 1) dist_mat = 2*X_square - 2*X.dot(X.T) pj|i=exp(−∥xi−xj∥...

2018-09-08 19:40:28

阅读数 792

评论数 0

原创 Java Tricks —— 不小于一个数的最小2的幂次方

不小于一个数的最小2的幂次方,对于 10 就是 16,对于 21 就是 32. 以下实现摘自 java HashMap 的源码: static final int tableSizeFor(int cap) { int n = cap - 1; n |= n &gt;&...

2018-09-06 21:35:35

阅读数 676

评论数 0

原创 一题多解 —— 判断一个数是否为奇数

对 2 取模,是否为 1?(负奇数对 2 取模,为 -1) jshell&gt; 5 % 2 $1 ==&gt; 1 jshell&gt; -5 % 2 $2 ==&gt; -1 同 1 相与; jshell&gt; 5 &amp; 1 $3...

2018-09-05 22:23:50

阅读数 835

评论数 0

原创 Java 源码 —— List

0. 成员属性 transient Object[] elementData; // non-private to simplify nested class access private static final Object[] EMPTY_ELEMENTDATA = {}; priva...

2018-09-03 08:18:36

阅读数 285

评论数 1

原创 Java 模式实践

1. 表驱动 字符串数组 ⇒ 字符串list ⇒ contains (list 内部也是遍历) List&lt;String&gt; candiates = Arrays.asList(new String[] {"", "", &qu...

2018-09-03 08:07:52

阅读数 173

评论数 0

原创 Java 并发 —— 从 BIO 到 NIO

BIO,同步阻塞;NIO:同步非阻塞; 在 NIO 技术之前,服务器侧使用多线程是 BIO 的一种伪阻塞的解决方法; BIO 的多线程机制存在的问题: 每一个 Socket 连接服务器,服务器侧都立刻开启(创建)一个线程处理, Socket socket = server.accept()...

2018-09-01 22:17:29

阅读数 237

评论数 1

原创 java 面试 —— java 基础

1. char =&amp;amp;amp;amp;amp;gt; int char 类型转换为 int 类型时,是转换为其 ascii 码或 unicode 码(比如中文) char ch = 'A'; int i = ch; // (int)ch //...

2018-09-01 20:30:29

阅读数 261

评论数 0

原创 【数值分析】—— 深度学习中的数值计算技巧

underflow:浮点数下溢,数值逼近 0 时出现; 0 作除数, 对 0 取对数; overflow:浮点数上溢,数值逼近无穷大时出现; 浮点数溢出,不论是上溢还是下溢,会使得最终的结果 Undefined(比如为 NaN),或者跟真实的结果相差很大的量级; 1. softmax 函...

2018-08-26 21:01:57

阅读数 657

评论数 0

原创 逻辑门的实现

Logic gate - Wikipedia 0. 与门、或门、与非门、或非门 与门:, 或门:, 与非门:, 或非门:, 1. XOR 异或门的实现 通过或门、与非门及与门的组合实现: (A NAND B) AND (A OR B) 仅通过与非门实现: (A N...

2018-08-15 23:01:16

阅读数 904

评论数 1

原创 【等价变换】—— 指数对数函数

e=10log10e=101/ln10e=10log10⁡e=101/ln⁡10 e=10^{\log_{10} e}=10^{1/\ln 10} 因此有: ex=10x/ln10ex=10x/ln⁡10 e^x=10^{x/\ln 10}

2018-08-12 11:59:34

阅读数 1737

评论数 0

原创 【数值分析】—— 对数函数、指数函数(数值稳定性)

1. logxlog⁡x\log x ⇒ log(1+x)log⁡(1+x)\log(1+x) 从计算机数值计算的角度,当 xxx 逼近 0 时,log(1+x)log⁡(1+x)\log(1+x) 比 logxlog⁡x\log x 更加精确。Python math 库中有专门的函数,mat...

2018-08-12 11:49:13

阅读数 935

评论数 0

原创 深度学习学界业界进展调研

1. 文本与自然语言处理 深度文本匹配: 表示型(Representation-Based):DSSM 交互型(Interaction-Based):ARC-II 2. 计算机视觉 3. 推荐系统 涉及subject:用户画像 Wide &amp;amp;amp; D...

2018-08-12 10:21:18

阅读数 412

评论数 0

原创 【数论】—— 多边形数的计算(三角形数,五边形数)

1. 和式 1+3+5+⋯+(2n−1)=n21+3+5+⋯+(2n−1)=n21+3+5+\cdots+(2n-1) = n^2 2. 五边形数 五边形数的几何形式如下: 如何计算 P100P100P_{100}? 将各个图形中的点拆分成如下左右两个部分: ...

2018-08-08 23:21:05

阅读数 951

评论数 0

原创 【数论】—— 整数质因子分解

Efficient program to print all prime factors of a given number import math def number_factorize(num): prime_factors = [] # 如果整数为偶数,其素因子为 2...

2018-08-08 22:55:25

阅读数 679

评论数 1

原创 【等价转换】—— 整数的变换

1. 整数与幂的关系 n=2m+ℓn=2m+ℓ n=2^m+\ell 其中 2m2m2^m 是不超过 nnn 的 2 的最大次幂; 2m≤n&lt;2m+12m≤n&lt;2m+12^m\leq n\lt 2^{m+1} ℓ&lt;2mℓ&lt;2m\el...

2018-08-08 21:29:00

阅读数 337

评论数 0

提示
确定要删除当前文章?
取消 删除