- 博客(80)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
原创 hive笔记
[TOC] 架构在Hadoop之上,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 hive是一个数据仓库工具,作用是可以将结构化的数据文件映射为一张数据库表,并提供简单查询功能,可以将sql语句转化为Mapreduce任务进行,是在Hadoop上的数据库基础架构。 Hive 不是一个关系数据库/实时查询和行级更新的语言.Hadoop是一个开源框架来存储和处理
2018-04-24 17:26:55
466
原创 Spring+Quartz实现定时任务的配置方法
实现比较麻烦,建议看前一篇实现使用注解的方式,更简洁。普通类方法。例子主要功能,每分钟输出“everyMinute”,每天18点输出“hours”1.增加依赖库:<dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support&...
2018-03-01 17:22:56
481
2
原创 spring用Scheduled注解方式实现定时任务
1.spring配置文件中写:<!-spring扫描注解包的配置--><context:component-scan base-package="XXX" /><!—开启这个配置,spring才能识别@Scheduled注解 --><task:annotation-driven/>2.定时任务的类import lombok.extern.slf...
2018-03-01 17:11:58
630
原创 spring 自定义注解实现日志统一处理
需求:通过注解的方式 统一处理controller和service的日志(实现上可能不太严谨,主要是实现流程)原理:先自定义注解。用aop切面拦截方法的使用,看是否有对应的自定义的注解,如果有,在切面中进行日志的统一打印,可以获取到加了注解方法的类名、方法名、参数。如果想每个方法传进来不同信息,可以在自定义注解里写上参数,这样在使用时就可以带进来不同信息。例如,spring自带的注解@Resour...
2018-03-01 12:16:13
2440
原创 ignore-resource-not-found和ignore-unresolvable
.ignore-resource-not-found和ignore-unresolvable两个属性是类似的作用(网上说推荐配对使用,但很少看到配对使用的 )如果location中的文件指向了一个不存在的文件(在没有指定上面两个参数的情况下,spring也并不会报错),那么也极有可能意味着有属性无法解析(虽然存在其他属性文件中存在重名,但是这个是应该避免的,所以当ignore-resource-n...
2018-03-01 12:08:26
15094
原创 关于Class.getResource和ClassLoader.getResource的路径问题
cahttp://www.cnblogs.com/yejg1212/p/3270152.html(有详细例子,建议看)http://blog.csdn.net/netbug_nb/article/details/46121037(有详细例子)总结:1.Class.getResource(“”)括号中最前面加不加/的效果不同,总结是有/就会取根目录下找,没有就在当前路径下找。加/ :是取得class...
2018-03-01 11:56:12
448
原创 spring 自定义注解实现登陆拦截
需求:自定义一个注解,使得controller层的类或者方法在写上这个注解后,会有登陆验证。实现原理:(1)先写一个自定义注解,注解上可以通过注释确定是类/方法可以加此注解。(2)之后,写一个拦截器,拦截器内可以通过handler得到被拦截器拦截的类或者方法,之后可以通过这个类/方法得知它是否有之前写的注解,如果有,就需要登陆校验。(3)之后要把这个拦截器配置到spring-mvc的配置文件中,需...
2018-03-01 11:28:55
1618
1
原创 朴素贝叶斯(二)实现NBCorpus分类(附代码和数据)
理论可参考 :朴素贝叶斯(一)公式:(P(x)为常数,可忽略不考虑)平滑:Nyk是类别为yk的样本个数,n是特征的维数,Nyk,xi是类别为yk的样本中,第i维特征的值是xi的样本个数,α是平滑值。在对NBCorpus词分类时,带入上面的公式可得:某词属于某类别的概率 = (该类别该词的个数 + 1/ 该类别词的总数 + 所有类别所有不重复单词总数) ×(该类别样本个数 / 所有类别总样本个数)...
2018-02-28 14:37:54
1065
1
原创 朴素贝叶斯(一)
朴素贝叶斯(Naive Bayes)是一种简单的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。总结1、朴素贝叶斯有个前提的假设:每个条件(属性)互相之间是独立的。2、最初公式的分母是一个常数,忽略不计。3、在做词分类时,考虑到词很多需要做大量的乘法会影响效率,再者小数的乘法会越乘越小导致数据很小丢失数据,因此对最终的公式做ln处理,不影响单调性,把乘法转换成加法。4、为了防止在...
2018-02-28 14:18:46
2302
原创 numpy常用方法
求平均值 mean求方差 std3numpy scipy pandas 区别读mat文件 loadmat求几次方数组求和 sum排序下标 argsortdict getdict排序 sorted统计次数 bincount最大小值max最大小值的下标argmaxnprandomuniformstart end size13np的flatten vs ravelnpmgrid 生成网格15 npaminamax npminmaxnpvstacktuple nphstacktuple
2018-02-26 11:28:05
631
原创 最大似然
最小二乘法 思想是 求欧式距离最小值。 即求出一条线,样本距离这条线的和最小。最大似然符和高斯分布时,和最小二乘法的结果一样。最大似然是站在概率上考虑的,推导出一个概率函数表示目标函数,它希望这个概率函数 越大越好。最大似然中心思想,假设拿出来的样本数据有很大的参考性,用这个样本数据反推“导致”这个结果的参数。
2018-02-26 11:20:58
388
1
原创 一个奇特的脚本输出日志方式-----记录时间方式
我的python是野路子出身,平常会写一些脚本处理少量数据。当然处理数据的过程中,都要有一些输出记录脚本是否是在执行或者是程序中间出错卡死了,一般的办法是在处理完一个文件就做一个输出,但是当要处理的文件很小数量很多,这时每个文件的处理很快脚本的输出会占用很多时间(当输出时间大于处理时间时,嘻嘻嘻~)。我看过的源码一种解决方式是,记录处理个数,每1000个做一次输出。而今天说的是我前几日又看的一段开
2016-11-09 21:26:49
1288
转载 机器学习经典之PCA的数学原理(很值得读)
PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理,帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成
2016-08-28 17:47:20
3270
1
原创 hadoop时遇到遇到ERROR security.UserGroupInformation: PriviledgedActionException as:xxxx cause:java.io.I
在windows下的eclipse里操纵ubuntu远程跑hadoop项目遇到问题:ERROR security.UserGroupInformation: PriviledgedActionException as:chenli cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-chenli\mapred\staging\chenli1971412180\.staging to 0700Exception
2016-07-18 23:24:35
3922
原创 做java时一些问题的解决
1、java.lang.classnotfoundexception(这个是在做hadoop时遇到)2.改了java home,但是java -version仍然是原来的版本3.这个也是hadoop时出现的错16/01/01 21:48:01 WARN mapred.LocalJobRunner: job_local_0001 java.lang.NullPointerException4.对字符串使用replaceAll()方法替换 * ? + / | 等字符的时候会报以下异常:Dangling m
2016-07-18 23:12:22
778
原创 faster rcnn源码解读总结
1.初始数据通过imdb类的操作放在它的属性roidb里。2.roidb只是一个字典,可以拿出来当做一个单独的字典,脱离imdb。3.roi_data_layer下的layer就是input-data。Forward中加载数据并控制一次一张图片的数据进入网络。送到rpn-data中三组数据: gt_boxes :大小(一张图片xml中box个数, 5);一张图中box的坐标以
2016-07-18 22:01:46
6392
5
原创 faster rcnn源码解读(六)之minibatch
faster rcnn用python版本的https://github.com/rbgirshick/py-faster-rcnnminibatch源码:https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/roi_data_layer/minibatch.py源码:# ------------------------
2016-07-18 21:57:16
8650
2
原创 faster rcnn源码解读(五)之layer(网络里的input-data)
faster rcnn用python版本的https://github.com/rbgirshick/py-faster-rcnnlayer源码地址:https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/roi_data_layer/layer.py源码:# ------------------------------
2016-07-18 21:47:02
5780
原创 faster rcnn源码解读(四)之数据类型imdb.py和pascal_voc.py(主要是imdb和roidb数据类型的解说)
faster用python版本的https://github.com/rbgirshick/py-faster-rcnnimdb.py源码地址:https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/datasets/imdb.pyimdb源码:# ------------------------------------
2016-07-18 21:35:30
7239
2
原创 faster rcnn源码解读(三)train_faster_rcnn_alt_opt.py
faster用python版本的https://github.com/rbgirshick/py-faster-rcnntrain_faster_rcnn_alt_opt.py源码在https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/train_faster_rcnn_alt_opt.pyfaster rcnn训
2016-07-18 20:56:53
3609
原创 faster rcnn源码理解(二)之AnchorTargetLayer(网络中的rpn_data)
faster用python版本的https://github.com/rbgirshick/py-faster-rcnnAnchorTargetLayer源码在https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/rpn/anchor_target_layer.py源码粘贴:# ------------------
2016-07-18 15:52:06
8274
9
原创 caffe 数据库LMDB的读写
读写的图片都是灰度图,rgb图类似一、读数据(图片的channel是2,其实是两张图片):import syssys.path.insert(0,"../../python")import numpy as npimport lmdbimport caffeimport argparsefrom matplotlib import pyplotif __name__ =
2016-07-05 20:50:56
12661
11
原创 计算机视觉与图像新手的心酸胡扯
我做计算机视觉有半年左右,也是现在现在很火的深度学习。有人说这个是“技术大爆炸”,突然冒出大批人来搞深度学习。但是我现在不想说深度学习,只想说说它的辅助工作---图片处理基础。 我是因为读研才开始基础计算机视觉,之前什么都不懂,是真的什么都不懂。然后实验室还是新开设的这个项目,也就是说,实验室也不会有人来指导我如何做,那时只有老师说要什么东西,我就得自己各种的查找来完成,现在想想还是
2016-06-30 23:03:39
1240
4
原创 ubuntu storm安装配置
一、安装准备: JDK、ssh、python。安装都比较简单,我之前做别的时候已经安装,此处不再详述。 ssh的安装和服务启动可以参见我的另一个讲hadoop安装的文章。而且我的storm集群和hadoop相同,都是配置在三台虚拟机上的,用户组及用户名和hadoop那个一样,都要求用户名是hadoop二、安装zookeeper集群(三台虚拟机) 前
2016-06-11 23:47:38
3386
原创 开发还是算法,一直困惑我的问题
研究生妹纸一枚,方向是深度学习。马上要面临紧张的秋招。 我原本这个项目很多人都不看好,都说不好找工作。那时我是真头疼,马上要找工作了,没有项目经验。后来”人机大战“,阿尔法狗获得胜利。我也觉得没啥,但身边做这个项目的都特别高兴,好像机器人赢了,就是我们程序员的胜利。我自己本身很喜欢编程,喜欢各种的技术。 前一个月是实习生招聘,发现我的方向出奇的好找工作,呵呵(猜测是阿尔法狗对很多企
2016-05-19 21:38:08
12835
13
原创 faster rcnn的源码理解(一)SmoothL1LossLayer论文与代码的结合理解
源码:// ------------------------------------------------------------------// Fast R-CNN// Copyright (c) 2015 Microsoft// Licensed under The MIT License [see fast-rcnn/LICENSE for details]// Writte
2016-05-19 20:55:57
11713
1
原创 faster rcnn修改demo.py保存网络中间结果
faster rcnn用python版本https://github.com/rbgirshick/py-faster-rcnn以demo.py中默认网络VGG16.原本demo.py地址https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/demo.py图有点多,贴一个图的本分结果出来:上图是原图
2016-05-17 21:49:54
8985
13
原创 python数据分析之numpy初始化(一)
1np.arange([start,] end [, step])#与list的range相似np.zeros(tupleA)#产生一个tupleA维度大小的矩阵,且初始全为0np.ones(tupleA)#与上面类似,只是初始化全为1np.empty(tupleA)#与上面类似,只是初始化值是不确定的(并不是你以为的0!!!!)。。。
2016-05-16 23:14:57
35860
原创 ubuntu14.04+GPU+caffe
非常建议ubuntu14.04的系统一、执行下面的操作,然后验证硬件支持GPU CUDA,只要型号存在于https://developer.nvidia.com/cuda-gpus,就没问题了 $ lspci | grep -i nvidia (GPU买之前是专门查过的,这个地方不太重要)二、确定你的系统是否支持 $ uname -m && cat /e
2016-05-12 20:38:45
3156
原创 程序员修炼之道----从小工到大家读书笔记(一)
5月6 偶然看到这本书,以前去公司实习,上司就说过这本书,他说“你把这本书看完,工作就不用看其他书了”。一直感叹它的神奇,却未曾观看,今日有幸见到,真想对它说“我来晚了,幸会幸会”。
2016-05-06 22:08:39
1210
4
原创 用图形画出caffe输出数据的python程序&&git基础命令
caffe的训练过程输出的数据用图形显示出来。先上效果图: 图形说明:x是迭代次数,y左是train loss;y右是test accuracy。绿色是左边的线,红色是右边的线。 提醒:slover的格式必须是标准格式,如,冒号后边要有空格。。。。好吧,是我懒得做处理了,反正,就酱~ 下载: git clone https://github.com/m
2016-05-05 22:18:39
1281
1
原创 python数据处理之列表、集合、字典推导式
1.列表: [expr for item in collection if condition] 举例:>>> result = []>>> [result.append(item) for item in fruit if len(item) > 5][None, None]>>> result['banana', 'orange'] 效果与下面类似: >>> r
2016-04-21 23:14:14
3506
3
原创 初级cnn研究辅助:python的matplotlib显示图片 之 按钮和触发事件
一、点击显示出来的图片,出现别的:点击左侧图片,显示右侧图片,并在你点击的位置画点。from matplotlib import pyplot as pyfrom matplotlib.widgets import Button,RadioButtonsimport Imagedef on_press(event): if event.inaxes == None:
2016-04-10 22:39:57
12425
原创 初级cnn研究辅助:python的matplotlib显示图片
一、简单例子:# -*- coding=UTF-8 -*-import Imagefrom matplotlib import pyplot as pltif __name__ == "__main__": img = Image.open("./Alex.jpg") img_gray = img.convert("L") fig = plt.figure()
2016-04-10 21:23:12
14495
原创 python+caffe做图片处理可能会用到的方法
1、numpy.array(image)和Image.fromarray(np_data)可以实现图片和numpy数据的转化。 另外参考我的这篇和这篇,了解更多的图片处理。2、random.randint(start, end)#start到end间随机数。start=<num<=endrandom.shuffle(list)#list以行随机打乱,用于存入数据库时的t
2016-04-10 19:31:25
1533
原创 python的Image和skimage处理图片
一、import Imageimg = Image.open(path)#打开图片 img.getpixel((height, width))#得到(height, width)处的像素值(可能是一个list,3通道)img.convert("L")#转灰度图size = (64, 64)img.resize(size, Image.ANTIALIAS)#改变尺寸 box =
2016-04-10 17:28:30
30495
1
原创 matlab安装遇到问题/install/Matlab/bin/util/oscheck.sh: /lib64/libc.so.6: not found
1./home/cl/install/Matlab/bin/util/oscheck.sh: /lib64/libc.so.6: not found 解决:locate libc.so定位出lib.so的位置然后软连接:ln -s /lib/x86_64-linux-gnu/libc.so.6 /lib64/libc.so.62.出现找不到jre的情况,
2016-04-10 15:17:30
1859
原创 caffe用python时可能需要的模块安装
1.ImportError: No module named Cython.Distutils2.ImportError: No module named easydict3.ubuntu python安装 sklearn.utils4.ubuntu python安装 pandas.io.parsers5.ImportError: No module named cv26.ImportError: No module named yaml
2016-04-10 15:02:19
23575
2
原创 python图片处理Image和skimage的不同
做cnn的难免要做大量的图片处理。由于接手项目时间不长,且是新项目,老板又一直逼我,前段时间写代码都很赶,现在稍微总结(恩,总结是个好习惯)。1,首先安装python-Image和python-skimage、python-matplotlib。 简单代码:import Image as imgimport osfrom matplotlib import pyplot as p
2016-03-27 21:31:51
18302
原创 fast-rcnn训练自己数据集以及demo代码解读和总结(面向fast-rcnn初学者)
首先推荐文章,里面有讲如何安装fast-rcnn,以及编译。或者我直接把fast-rcnn的地址写出来:https://github.com/rbgirshick/fast-rcnn一.最后的demo.py(地址:https://github.com/rbgirshick/fast-rcnn/blob/master/tools/demo.py)的代码解读: 1.获取
2016-03-27 15:20:21
8102
4
NBCorpus(只是为了代码,很小的一部分)
2018-02-28
修改过的hadoop-core-1.0.2.jar
2016-01-21
windows下的Python-2.7.6运行平台
2015-09-09
编译原理实验之预测分析算法的设计与实现
2014-09-09
python matplotlib显示单色图问题
2016-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人