Zhang's Wikipedia

玩就玩大的

关于我尽可能多的一切

1. 书痴 历史癖: 大明王朝 1566;北平无战事;(by 刘和平) 《人类简史》《未来简史》(也属开脑洞的范畴) 军迷: 太平洋战争I/II/III,山雨欲来,铤而走险,不宣而战; 兵以诈立 政治 《动物农场》 乡村情结: 《白鹿原》 阶级与左的思想; 《生而贫穷》 《毛泽东传》[美...

2017-07-02 11:03:13

阅读数 2354

评论数 6

python 分段拟合(curve fit)

https://stackoverflow.com/questions/29382903/how-to-apply-piecewise-linear-fit-in-python 使用 np.piecewise 创建分段函数,使用 scipy.optimize.curve_fit 进行拟合: fr...

2019-03-06 22:43:35

阅读数 66

评论数 0

优先队列(priority queue)的实现

底层数据结构,最简单的情况为一维数组; 两大接口(以大顶堆为例): push 首先将要插入的值置于底层数据结构的末尾:heap[size-1] = value 不断地将其与其父节点比较, heap[parent] >= heap[pos],break 否则交换...

2019-02-24 12:41:28

阅读数 126

评论数 3

python 运算符优先级、Chaining comparison operators

1. ** >> 2**2**3 256 >> (2**2)**3 64 >> 2**(2**3) 256 相同优先级的运算符会优先进行左结合,也即第一个操作数和第...

2019-02-19 21:56:53

阅读数 102

评论数 0

极简代码 —— list 最小最大索引(argmax/argmin)的实现

def argmin(lst): return min(range(len(lst)), key=lst.__getitem__) def argmax(lst): return max(range(len(lst)), key=lst.__getitem__)

2019-02-11 22:59:47

阅读数 128

评论数 1

极简算法 —— 判断两字符串是否为相同字母的不同顺序组成

将问题转换为统计各个字母的出现顺序: from collections import Counter Counter(str1) == Counter(str2)

2019-02-11 18:48:30

阅读数 171

评论数 2

scala 偏函数与 map/collect

https://fangjian0423.github.io/2015/06/14/scala-partial/ https://www.jianshu.com/p/fa2ed7ed391e 0. collect 与 map 的区别 由于collect方法接收的是一个偏函数类型,所以它并不...

2019-01-30 19:37:35

阅读数 114

评论数 0

scala 与 spark 并行化

1. .par普通集合转换为并行集合 scala.collection: scala> (1 to 5).foreach(println(_)) 12345 scala> (1 to 5).par.foreach(println(_...

2019-01-30 19:06:13

阅读数 94

评论数 1

Spark RDD 之间的依赖关系

RDD就是一个不可变的带分区的记录集合,Spark提供了RDD上的两类操作,转换(transformation)和动作(action)。 转换是用来定义一个新的RDD,包括map, flatMap, filter, union, sample, join, groupByKey, cogroup...

2019-01-30 18:26:21

阅读数 75

评论数 1

Spark utils —— 设置日志级别

1. 通过 SparkContext 指定日志级别 val sc: SparkContext = new SparkContext(sparkConf) sc.setLogLevel("WARN") //sc.setLogLevel("DEBU...

2019-01-22 22:14:45

阅读数 79

评论数 2

Python 命令的参数

1. -c 执行python语句 $ python -c "print('hello')" hello

2019-01-21 22:28:04

阅读数 96

评论数 2

pandas 学习 ——Series

1. Series 的获得 df.iloc 按行或者按列索引一行,或一列得到的就是一个 Series pd.Series from datetime import datetime dates = [datetime(2011, 1, i) for i in [2, 5, 7, 8, 10...

2019-01-17 22:14:24

阅读数 72

评论数 1

Python 爬虫 ——html 页面的认识

1. 页面中的表格 <table class="..." id="..."> <thead> <tr...

2019-01-17 18:45:54

阅读数 116

评论数 1

Spark 调优 ——cache(persist)与 checkpoint

cache 是对 persist 的进一步调用; 1. 为什么要 checkpoint 为了保证数据安全性,需要对运行出的中间结果进行 checkpoint 最好将结果 checkpoint 到 hdfs,便于集群所有节点进行访问; checkpoint 之前先进行 cache(per...

2019-01-13 22:07:42

阅读数 86

评论数 0

Spark 原理 —— 从 akka 到 spark 集群的启动

1. actor 到 akka Actor 是一种消息并发模型,基于事件模型的并发机制。 Scala 的 Actor 类似于 Java 中的多线程编程,不同在于: Scala 的 Actor 设计的初衷在于尽可能地避免锁和共享状态,从而避免多线程并发时出现资源征用的情况; 原因在于,Java ...

2018-11-11 19:14:09

阅读数 362

评论数 2

强化学习 —— gym

0. gym 下的数据结构 Discrete: gym.spaces.discrete.Discrete env.action_sample 的返回值就是 Discrete 类型 Discrete(n):{0, 1, 2, 3, n-1},表示的是正整数的离散空间; 成员函数: sample...

2018-11-09 19:37:07

阅读数 332

评论数 1

LeetCode 一题多解

1. 括号匹配 20. Valid Parentheses 堆栈版: class Solution(object): def isValid(self, s): """ :t...

2018-11-05 21:54:16

阅读数 307

评论数 1

LeetCode 堆栈队列 —— 括号匹配(20、232、155)

1. 堆栈(stack) 20,20. Valid Parentheses,括号匹配,堆栈(python 中使用 list 即可实现表示堆栈,list.append:入栈,list.pop():出栈)实现: 左括号((、[、{)入栈; 右括号()、]、})出栈; 遍历全部字符串后,...

2018-11-05 13:03:01

阅读数 264

评论数 2

LeetCode —— 链表相关(206、141)

0. 数据结构定义 链表节点: class ListNode(object): def __init__(self, x): self.val = x self.next = None 1. 链表 206,翻转链表,206. Reverse L...

2018-11-03 22:29:23

阅读数 220

评论数 1

keras + tensorflow —— 函数式 API编程

1. 实现简单的逻辑回归 from keras import Input from keras import layers from keras.models import Model x = Input(shape=(32, )) # TensorShape([Dimension(None),...

2018-11-03 12:18:41

阅读数 305

评论数 3

提示
确定要删除当前文章?
取消 删除
关闭
关闭