自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

https://space.bilibili.com/59807853

移步b站，关于数学，计算机科学，深度学习，计算机视觉以及文艺的

我也要用

原创 java jdk 数据结构实现 —— 队列与优先队列

1. 优先队列与堆大顶堆与小顶堆 Queue<Integer> minHeap = new PriorityQueue<Integer>(); Queue<Integer> maxHeap = new PriorityQueue<Integer>...

2019-04-15 22:33:36

阅读数 576

评论数 0

原创 xgboost 可视化与结果分析

xgboost 的可视化，调用 xgb.to_graphviz 或 xgb.plot_tree 接口； 1. 指定 fmap（feature map） https://www.kaggle.com/mmueller/xgb-feature-importance-python 按照 featur...

2019-04-04 00:42:56

阅读数 1812

评论数 1

原创 python 分段拟合（curve fit）

https://stackoverflow.com/questions/29382903/how-to-apply-piecewise-linear-fit-in-python 使用 np.piecewise 创建分段函数，使用 scipy.optimize.curve_fit 进行拟合： fr...

2019-03-06 22:43:35

阅读数 2699

评论数 0

原创优先队列（priority queue）的实现

底层数据结构，最简单的情况为一维数组；两大接口（以大顶堆为例）： push 首先将要插入的值置于底层数据结构的末尾：heap[size-1] = value 不断地将其与其父节点比较， heap[parent] &gt;= heap[pos]，break 否则交换 hea...

2019-02-24 12:41:28

阅读数 481

评论数 6

原创 python 运算符优先级、Chaining comparison operators

1. ** >> 2**2**3 256 >> (2**2)**3 64 >> 2**(2**3) 256 相同优先级的运算符会优先进行左结合，也即第一个操作数和第二个操作数结合，结果再与第三个操作数结合。对于 ...

2019-02-19 21:56:53

阅读数 429

评论数 0

原创极简代码 —— list 最小最大索引（argmax/argmin）的实现

def argmin(lst): return min(range(len(lst)), key=lst.__getitem__) def argmax(lst): return max(range(len(lst)), key=lst.__getitem__)

2019-02-11 22:59:47

阅读数 828

评论数 1

原创极简算法 —— 判断两字符串是否为相同字母的不同顺序组成

将问题转换为统计各个字母的出现顺序： from collections import Counter Counter(str1) == Counter(str2)

2019-02-11 18:48:30

阅读数 1076

评论数 2

原创 scala 偏函数与 map/collect

https://fangjian0423.github.io/2015/06/14/scala-partial/ https://www.jianshu.com/p/fa2ed7ed391e 0. collect 与 map 的区别由于collect方法接收的是一个偏函数类型，所以它并不...

2019-01-30 19:37:35

阅读数 315

评论数 0

原创 scala 与 spark 并行化

1. .par普通集合转换为并行集合 scala.collection: scala&gt; (1 to 5).foreach(println(_)) 12345 scala&gt; (1 to 5).par.foreach(println(_)) 13254...

2019-01-30 19:06:13

阅读数 285

评论数 1

原创 Spark RDD 之间的依赖关系

RDD就是一个不可变的带分区的记录集合，Spark提供了RDD上的两类操作，转换（transformation）和动作（action）。转换是用来定义一个新的RDD，包括map, flatMap, filter, union, sample, join, groupByKey, cogroup...

2019-01-30 18:26:21

阅读数 195

评论数 1

原创 Spark utils —— 设置日志级别

1. 通过 SparkContext 指定日志级别 val sc: SparkContext = new SparkContext(sparkConf) sc.setLogLevel("WARN") //sc.setLogLevel("DEBUG") //s...

2019-01-22 22:14:45

阅读数 279

评论数 2

原创 Python 命令的参数

1. -c 执行python语句 $ python -c "print('hello')" hello

2019-01-21 22:28:04

阅读数 210

评论数 2

原创 pandas 学习 ——Series

1. Series 的获得 df.iloc 按行或者按列索引一行，或一列得到的就是一个 Series pd.Series from datetime import datetime dates = [datetime(2011, 1, i) for i in [2, 5, 7, 8, 10...

2019-01-17 22:14:24

阅读数 151

评论数 1

原创 Python 爬虫 ——html 页面的认识

1. 页面中的表格 <table class="..." id="..."> <thead> <tr> <th>...&...

2019-01-17 18:45:54

阅读数 260

评论数 1

原创 Spark 调优 ——cache（persist）与 checkpoint

cache 是对 persist 的进一步调用； 1. 为什么要 checkpoint 为了保证数据安全性，需要对运行出的中间结果进行 checkpoint 最好将结果 checkpoint 到 hdfs，便于集群所有节点进行访问； checkpoint 之前先进行 cache（per...

2019-01-13 22:07:42

阅读数 208

评论数 0

原创 Spark 原理 —— 从 akka 到 spark 集群的启动

1. actor 到 akka Actor 是一种消息并发模型，基于事件模型的并发机制。 Scala 的 Actor 类似于 Java 中的多线程编程，不同在于： Scala 的 Actor 设计的初衷在于尽可能地避免锁和共享状态，从而避免多线程并发时出现资源征用的情况；原因在于，Java ...

2018-11-11 19:14:09

阅读数 603

评论数 2

原创强化学习 —— gym

0. gym 下的数据结构 Discrete： gym.spaces.discrete.Discrete env.action_sample 的返回值就是 Discrete 类型 Discrete(n)：{0, 1, 2, 3, n-1}，表示的是正整数的离散空间；成员函数： sample...

2018-11-09 19:37:07

阅读数 554

评论数 1

原创 LeetCode 一题多解

1. 括号匹配 20. Valid Parentheses 堆栈版： class Solution(object): def isValid(self, s): """ :type s: str ...

2018-11-05 21:54:16

阅读数 445

评论数 1

原创 LeetCode 堆栈队列 —— 括号匹配（20、232、155）

1. 堆栈（stack） 20，20. Valid Parentheses，括号匹配，堆栈（python 中使用 list 即可实现表示堆栈，list.append：入栈，list.pop()：出栈）实现：左括号（(、[、{）入栈；右括号（)、]、}）出栈；遍历全部字符串后，...

2018-11-05 13:03:01

阅读数 401

评论数 2

原创 LeetCode —— 链表相关（206、141）

0. 数据结构定义链表节点： class ListNode(object): def __init__(self, x): self.val = x self.next = None 1. 链表 206，翻转链表，206. Reverse L...

2018-11-03 22:29:23

阅读数 281

评论数 1

原创 keras + tensorflow —— 函数式 API编程

1. 实现简单的逻辑回归 from keras import Input from keras import layers from keras.models import Model x = Input(shape=(32, )) # TensorShape([Dimension(None),...

2018-11-03 12:18:41

阅读数 549

评论数 3

原创 keras + tensorflow —— 训练参数数目的计算

1. RNN 模型 Embedding Embedding(input_dim, output_dim,input_length) input_dim 表示字典的大小； outpu_dim 则表示嵌入的维度；训练参数的数目为：input_dim✖️output_dim； model...

2018-10-30 21:42:08

阅读数 1112

评论数 1

原创 matplotlib —— step、bar、stem、errorbar、hist 图形的绘制

1. plt.step() 与 plt.bar() plt.bar(range(1, len(x)), x, alpha=.4, align=‘center’, label=‘individual’) plt.step(range(1, 14), np.cumsum(x), where=‘mid...

2018-10-23 19:07:12

阅读数 1833

评论数 1

原创【清单】—— 编程方法、整洁代码与重构

开始时的编写；代码整洁之道；代码大全；编写可读代码的艺术；后续持续不断地重构；重构；重构手册；修改代码的艺术；

2018-10-15 21:39:27

阅读数 290

评论数 0

原创字符串算法 —— 两字符串相同的单词

1. navie：集合 intersect 以集合的形式分别存放两字符串，然后求集合交集。 def common_words_naive(str1, str2): str1_set = set(str1.strip().split()) str2_set = set(str2.strip()....

2018-09-27 08:19:53

阅读数 325

评论数 2

原创机器学习概念 —— 样本距离矩阵

样本（XN⋅dXN⋅dX_{N\cdot d}）之间的距离矩阵 N, d = X.shape X_square = np.sum(X*X, axis=1).reshape(N, 1) dist_mat = 2*X_square - 2*X.dot(X.T) pj|i=exp(−∥xi−xj∥...

2018-09-08 19:40:28

阅读数 792

评论数 0

原创 Java Tricks —— 不小于一个数的最小2的幂次方

不小于一个数的最小2的幂次方，对于 10 就是 16，对于 21 就是 32. 以下实现摘自 java HashMap 的源码： static final int tableSizeFor(int cap) { int n = cap - 1; n |= n >&...

2018-09-06 21:35:35

阅读数 676

评论数 0

原创一题多解 —— 判断一个数是否为奇数

对 2 取模，是否为 1？（负奇数对 2 取模，为 -1） jshell> 5 % 2 $1 ==> 1 jshell> -5 % 2 $2 ==> -1 同 1 相与； jshell> 5 & 1 $3...

2018-09-05 22:23:50

阅读数 835

评论数 0

原创 Java 源码 —— List

0. 成员属性 transient Object[] elementData; // non-private to simplify nested class access private static final Object[] EMPTY_ELEMENTDATA = {}; priva...

2018-09-03 08:18:36

阅读数 285

评论数 1

原创 Java 模式实践

1. 表驱动字符串数组 ⇒ 字符串list ⇒ contains （list 内部也是遍历） List<String> candiates = Arrays.asList(new String[] {"", "", &qu...

2018-09-03 08:07:52

阅读数 173

评论数 0

原创 Java 并发 —— 从 BIO 到 NIO

BIO，同步阻塞；NIO：同步非阻塞；在 NIO 技术之前，服务器侧使用多线程是 BIO 的一种伪阻塞的解决方法； BIO 的多线程机制存在的问题：每一个 Socket 连接服务器，服务器侧都立刻开启（创建）一个线程处理， Socket socket = server.accept()...

2018-09-01 22:17:29

阅读数 237

评论数 1

原创 java 面试 —— java 基础

1. char =&amp;amp;amp;amp;gt; int char 类型转换为 int 类型时，是转换为其 ascii 码或 unicode 码（比如中文） char ch = 'A'; int i = ch; // (int)ch //...

2018-09-01 20:30:29

阅读数 261

评论数 0

原创【数值分析】—— 深度学习中的数值计算技巧

underflow：浮点数下溢，数值逼近 0 时出现； 0 作除数，对 0 取对数； overflow：浮点数上溢，数值逼近无穷大时出现；浮点数溢出，不论是上溢还是下溢，会使得最终的结果 Undefined（比如为 NaN），或者跟真实的结果相差很大的量级； 1. softmax 函...

2018-08-26 21:01:57

阅读数 657

评论数 0

原创逻辑门的实现

Logic gate - Wikipedia 0. 与门、或门、与非门、或非门与门：，或门：，与非门：，或非门：， 1. XOR 异或门的实现通过或门、与非门及与门的组合实现： (A NAND B) AND (A OR B) 仅通过与非门实现： (A N...

2018-08-15 23:01:16

阅读数 904

评论数 1

原创【等价变换】—— 指数对数函数

e=10log10e=101/ln10e=10log10⁡e=101/ln⁡10 e=10^{\log_{10} e}=10^{1/\ln 10} 因此有： ex=10x/ln10ex=10x/ln⁡10 e^x=10^{x/\ln 10}

2018-08-12 11:59:34

阅读数 1737

评论数 0

原创【数值分析】—— 对数函数、指数函数（数值稳定性）

1. logxlog⁡x\log x ⇒ log(1+x)log⁡(1+x)\log(1+x) 从计算机数值计算的角度，当 xxx 逼近 0 时，log(1+x)log⁡(1+x)\log(1+x) 比 logxlog⁡x\log x 更加精确。Python math 库中有专门的函数，mat...

2018-08-12 11:49:13

阅读数 935

评论数 0

原创深度学习学界业界进展调研

1. 文本与自然语言处理深度文本匹配：表示型（Representation-Based）：DSSM 交互型（Interaction-Based）：ARC-II 2. 计算机视觉 3. 推荐系统涉及subject：用户画像 Wide &amp;amp; D...

2018-08-12 10:21:18

阅读数 412

评论数 0

原创【数论】—— 多边形数的计算（三角形数，五边形数）

1. 和式 1+3+5+⋯+(2n−1)=n21+3+5+⋯+(2n−1)=n21+3+5+\cdots+(2n-1) = n^2 2. 五边形数五边形数的几何形式如下：如何计算 P100P100P_{100}？将各个图形中的点拆分成如下左右两个部分： ...

2018-08-08 23:21:05

阅读数 951

评论数 0

原创【数论】—— 整数质因子分解

Efficient program to print all prime factors of a given number import math def number_factorize(num): prime_factors = [] # 如果整数为偶数，其素因子为 2...

2018-08-08 22:55:25

阅读数 679

评论数 1

原创【等价转换】—— 整数的变换

1. 整数与幂的关系 n=2m+ℓn=2m+ℓ n=2^m+\ell 其中 2m2m2^m 是不超过 nnn 的 2 的最大次幂； 2m≤n<2m+12m≤n<2m+12^m\leq n\lt 2^{m+1} ℓ<2mℓ<2m\el...

2018-08-08 21:29:00

阅读数 337

评论数 0

提示

确定要删除当前文章？

取消删除