- 博客(34)
- 收藏
- 关注
RSS订阅原创 LeetCode-剑指Offer刷题记录
Leetcode刷题之剑指offfer剑指 Offer 04. 二维数组中的查找剑指 Offer 07. 重建二叉树这个博客记录leetcode-剑指offer中遇到问题的题目剑指 Offer 04. 二维数组中的查找在一个 n * m 的二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个高效的函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。示例:现有矩阵 matrix 如下：[[1, 4, 7, 11, 15],[2,
2020-12-29 02:04:30
315
原创 leetcode-刷题记录
leetcode-刷题记录初级算法数组从排序数组中删除重复项买卖股票的最佳时机 II旋转数组存在重复只出现一次的数字两个数组的交集 II加一移动零两数之和有效的数独字符串反转字符串整数反转字符串中的第一个唯一字符有效的字母异位词验证回文字符串字符串转换整数 (atoi)实现 strStr()外观数列最长公共前缀链表反转链表合并两个有序链表回文链表环形链表树二叉树的最大深度验证二叉搜索树对称二叉树二...
2020-03-31 14:07:44
874
原创 代码debug
import logginglogging.basicConfig(level=logging.DEBUG)The logging showed me my typo in a Python stack trace!!!
2020-03-18 21:01:14
134
原创 opencv读入图像自动旋转的问题
最近做一个图像中文字方向判定的需求，4分类任务。在处理数据的时候发现，在电脑上显示水平的图片，用opencv-imread读进来的时候，会出现旋转，且旋转方向不定。之前也遇到过类似的问题，但当时任务本身对方向不敏感，且预处理本身也会做左右上下的翻转以及小角度的旋转，这样的数据增强操作，而此次方向分类的任务对方向及其敏感。所以不得不解决这个问题。图片旋转的原因：图片本身的矩阵就是旋转的，...
2020-01-20 14:45:50
3298
2
原创 乘积最大子序列
def find_max_m(x): max_p = x[0] min_n = x[0] res = x[0] for i in range(1,len(x)): max_p = max(max_p*x[i],min_n*x[i],x[i]) min_n = min(max_p*x[i],min_n*x[i],x[i]) ...
2019-11-14 10:39:58
90
原创 leetcode 15. 三数之和
class Solution(object): def threeSum(self, nums): """ :type nums: List[int] :rtype: List[List[int]] """ nums.sort() res = [] for k in range...
2019-10-21 01:58:19
102
原创 tf.py_func采坑记
脑子是个好东西，真的希望我也有一个！！！用tf.py_func时tf.py_func( func, inp, Tout, stateful=True, name=None)要千万注意Tout: A list or tuple of tensorflow data types or a single tensorflow data type i...
2019-09-24 15:18:28
588
原创 attention_ocr源码
主要看sequence_layers.py这个脚本中才是实现了attention+decoder的部分，model中只是个架子。 sequence_layer中也是直接调用了TF的api，如果想深入理解，还是需要看TF源码。先从sequence_layer入手。AttentionWithAutoregression继承了Attention，Attention继承了SequenceLayerBa...
2019-09-03 15:48:02
582
原创 记录eetcode 6.Z 字形变换 两种解法
题目本身难度不大，但也耗费了很长时间。是因为受之前题目的影响，不采取最简单的方法，总是想要用一些所谓的便捷方法。解法1：class Solution(object): def convert(self, s, numRows): """ :type s: str :type numRows: int ...
2019-08-18 02:00:04
146
原创 记录leetcode 3. 无重复字符的最长子串两种解法
1.暴力枚举解法：class Solution(object): def lengthOfLongestSubstring(self, s): """ :type s: str :rtype: int """ if len(s) == 0: return 0 eli...
2019-08-11 21:49:51
115
原创 记录leetcode两数相加（2）解法
# Definition for singly-linked list.# class ListNode(object):# def __init__(self, x):# self.val = x# self.next = Noneclass Solution(object): def addTwoNumbers(self, l1, ...
2019-08-09 01:58:59
108
原创 转pdf文件中的每一页到图片
最近遇到，把pdf文件中的每一页转为图片，这样一个需求。折腾了一天。网上大部分教程需要许多安装包，安装十分麻烦，遇到许多坑。终于找到一个比较简单的方法。https://tecadmin.net/install-imagemagick-on-linux/如果第一步出现错误：sudo apt-get update安装成功后，直接采用 convert xxx.pdf yyy.img 命...
2019-08-07 10:55:32
307
原创 链表反转
# Definition for singly-linked list.# class ListNode(object):# def __init__(self, x):# self.val = x# self.next = Noneclass Solution(object): def reverseList(self, hea...
2019-07-23 00:10:47
70
原创 ocr中遇到的相关图像处理概念
仿射 affine 平面内的内移，旋转，错切，缩放，变换后仍在一个平面 三个点 仿射变换：向量经过线性变换+平移 6个未知数，6个方程，1个点列2个方程，需要3个点坐标 投影 projective 物体与投影面上的像之间的变换，变换前后不在一个平面 四个点 12个未知数，12个方程，1个点列3个方程，需要4个点坐标 IOU 分类中...
2019-04-08 14:13:28
128
原创 tf.train.ExponentialMovingAverage
https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/train/ExponentialMovingAverage#top_of_page通过乘以一个指数衰减，保留变量的moving average训练模型时，保留训练变量的moving average是有用的。平均的参数做验证的效果要优于直接用final trained的...
2019-01-29 11:35:50
304
原创 Early Stopping | but when?
https://page.mi.fu-berlin.de/prechelt/Biblio/stop_tricks1997.pdf摘要 early stop应该是validation-based，但实际中，总是基于an ad-hoc fashion或是training is stopped interactively 基于临时的策略或是交互的方式停止训练，交互的方式个人理解就是工程师观察l...
2019-01-28 16:34:11
819
原创 docker学习
依照官网教程安装docker https://docs.docker.com/install/linux/docker-ce/centos/#install-from-a-package 手动安装 过程中显示缺依赖包也是手动下载，然后安装 docker pull 因为使用的是内网，就先注册，并且没有测试的hello world可以使用 拉的就是简单的tensorflow镜像 ...
2019-01-22 18:39:44
182
原创 经典cnn之resnet
https://arxiv.org/pdf/1512.03385.pdf#page=9&zoom=100,0,157摘要 residual 残余的 We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gai...
2019-01-19 20:26:40
235
原创 经典cnn之mobilenet
https://arxiv.org/pdf/1704.04861.pdf摘要 mobilenet是一个流线型结构，用了depthwise separable convolutions 用了两个全局超参，在耗时和准确性之间做了trade off，width multiplier and resolution multiplier prior work 开发者可以根据resource...
2019-01-19 17:13:33
477
原创 tf.image.resize_bilinear vs cv2.resize
最近做项目，涉及到tf_serving.之前考虑将image预处理放在serving过程中做，但是遇到大图片时耗时过长的问题。所以将预处理移出pb文件，用java掉opencv完成。遇到问题：统一图片java做预处理和tf.image做预处理的预测结果不一致（一百张图片中有1~2张预测结果不一致）。google之后看到相关issue及blog。https://hackernoon....
2019-01-09 11:38:45
2229
4
原创 关于深度学习的backpropagation
loss function：在gradient descent时： （前向*后向）前向： 所以 后向：注：截图来自台湾大学李宏毅教授课程PPT，对于我本人理解BP很有启发后向求导具体过程： ...
2019-01-08 20:33:20
143
原创 tensorflow base64字符串字符替换中出现的问题
import tensorflow as tfimport tensorflow.contrib.eager as tfetfe.enable_eager_execution() image = tf.gfile.GFile('/export/App/preserver/base64_dog2.txt').read()image =...
2018-12-26 19:22:35
855
原创 tf_serving
1 tf_serving 需要算法提供的主要有三个东西： a：模型pb文件 b：上线所需client文件首先：pb文件需要用tf.saved_model相关models生成。tf.saved_model.builder.SavedModelBuilder().add_meta_graph_and_variables()中signature_def_map中对于clas...
2018-12-10 17:55:22
1169
原创 horovod + tf.train.CheckpointSaverHook
最近在做分布式模型训练相关工作，利用到了horovod框架，当horovod+tf.train.MonitoredTrainingSession+tf.train.CheckpointSaverHook时，会出现horovod rank抢占之类的报错。并且在log中多次出现Create CheckpointSaverHook的信息。并且由于MonitoredTrainingSession的...
2018-11-02 17:30:44
1616
原创 tensorflow总结
最近的工作主要围绕tensorflow分布式（ps-worker，horovod）的改造，连最基本的模型搭建以及损失函数等都忘记了。出了问题都不知道该从何查起，做如下总结。一、目前遇到的问题： imagenet 数据集训练alexnet模型，模型loss输出一直固定在6.9左右。已经查过以下问题。模型的参数随着训练过程在变化 将模型输入设置为全白图片，检查模型输出l...
2018-09-13 15:44:16
266
原创 top命令
k8s中启pod时需要设置内存资源。虽然说内存越大越好，但是在集群资源有限的情况下，可以按照workload请求适当的资源。因此需要掌握workload资源占用情况。可以在模型训练过程中利用top命令查看workload所需资源。top命令：top - 05:31:12 up 97 days, 1:49, 0 users, load average: 0.06, 0.43, 0.40...
2018-08-21 14:05:13
158
原创 python多线程 多进程读取数据
利用multiprocessing ，threading，queue来多进程，多线程读取数据。多进程from multiprocessing import Process for i in range(16): t = Process(target = target) t.start()from multiprocessing...
2018-08-09 18:32:21
2690
原创 git 小白记录
git clone touch .gitignore 加入需要ignore的文件类型 （python： .pyc） 将需要push的代码复制到相应文件夹后 git add -A git commit git pull git push需要注意的地方：.gitignore 与文件夹 .git 平行 push的文件中不能有超过10mb的文件 如果已经将大文件add并co...
2018-08-07 10:04:18
97
原创 tensorflow 单机到分布式 tf.train.SyncReplicasOptimizer + monitoredtrainningsession
reduce_grads = average_gradients(tower_grads) opt = tf.train.SyncReplicasOptimizer( opt_gpu, replicas_to_aggregate=num_workers, total_num_replicas=num_workers, ...
2018-07-31 15:56:23
1305
原创 tensorflow 单机多卡到分布式 记录
import argparseimport sysimport tensorflow as tfimport modelimport icdarimport timeimport numpy as npimport tensorflow as tffrom tensorflow.contrib import slimtf.app.flags.DEFINE_integer(...
2018-07-25 11:15:42
1658
原创 tensorflow benchmark 疑问记录
benchmark是通过：iterator ----------> iterator.get_next封装为tf函数 （通过python 装饰器） ----------> 创建function buffering resource来读取数据estimator是通过：iterator ----------> iterator.get_next...
2018-07-20 14:57:09
592
原创 tensorflow benchmark 错误记录
多机多卡分布式训练model时：启动脚本为：CUDA_VISIBLE_DEVICES='' nohup python -u tf_cnn_benchmarks.py --batch_size=2048 --data_dir=// --data_name=imagenet --model=alexnet --num_batches=100 --num_gpus=4 --train_dir=/...
2018-07-16 20:59:30
1485
原创 benchmark add_sync_queues_and_barrier 小结
def add_sync_queues_and_barrier(self, name_prefix, enqueue_after_list): """Adds ops to enqueue on all worker queues. Args: name_prefix: prefixed for the shared_name of ops. enqueue_a...
2018-07-12 14:55:41
102
原创 tf.set_random_seed np.random.seed
import tensorflow as tfimport numpy as npa = tf.random_normal([1])with tf.Session() as sess2: tf.set_random_seed(1234) print(sess2.run(a)) print(sess2.run(a))with tf.Session() as sess2: tf...
2018-07-11 11:03:48
1256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人