mysee1989-CSDN博客

原创 linear regression 与 logistic regression的区别

训练一个图像分类模型,实际上是训练了一个基于"最大似然估计"的模型. 所采用的softmax分类器, 别名也叫做 multinomial logistic regression.为什么不能采用linear regression呢? 回答这个问题需要先了解liner regression 和 logistic regression的区别:输出的区别. linear regression的输...

2018-07-17 11:28:48 5979 2

原创图像分类里的precision和recall

precision和recall是模式识别中的重要指标。借用wikipedia的一张图：precision = TP / (TP + FP)recall = TP / (TP + FN)以表情识别为例，表情识别总共有7个类别：0：Neural1：Anger2：Disgust3：Fear4：Happy5：Sad6：Surprise加入我们得到的结果中，disgust（鄙视）这一类别的p...

2018-02-08 09:57:17 5435 1

原创计算机视觉中，图像的分布理解

图像的分布：假设彩色图像是64x64大小，则相当于图像的分布满足一个多变量分布函数，变量的总数是64x64x3。即每一个像素都是一个单变量分布，而整幅图像的所有像素构成了一个多变量分布。建模为多变量分布的好处之一是：帮助更好的formulate图像的生成过程。图像的生成，可以看作是从一个多变量分布函数中进行随机采样。当我们使用照相机拍了一张照片，也就相当于从自然界中采样了一张图像。另外，将

2018-01-31 11:15:24 7517 2

转载文件系统文献推荐

一．综述与展望1. The evolution of storageR.J.T.Morris， B.J.Truskowski. IBM SYSTEMS JOURNAL, VOL42, NO2, 2003 该文献对存储系统的发展进行了全面回顾，从存储介质-磁盘、存储系统的结构、人类社会信息增长的规律都进行了讨论。论文数据充实，观点精辟，高瞻远瞩。二．主机文件系统

2016-12-25 23:54:14 847

Zookeeper是参考Google Chubby实现原理设计实现的一个分布式应用协调系统。Zookeeper的原型系统由Yahoo!开发，目前，由Apache基金会维护，为Hadoop项目的子项目。本文主要通过分析Chubby，Zookeeper项目的相关文档，总结和分析了Zookeeper的特点，能使用Zookeeper实现的高级分布式应用场景，以及用Zookeeper实现的分布式协调功能帮助

2016-07-07 11:37:08 2259

转载 java与线程池

转载自：链接1. 引言合理利用线程池能够带来三个好处。第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。第二：提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。但是要做到合理的利用线程池，必须对其原

2016-06-07 10:31:08 435

原创使用 Cobbler 自动化和管理系统安装

Red Hat 之前推出过 Kickstart，从此不再需要刻了光盘一台一台地安装 Linux，只要搞定 PXE、DHCP、TFTP，还有Kickstart 脚本，就可以瞬间安装上百台服务器。Red Hat 最新发布了网络安装服务器套件 Cobbler（补鞋匠），再次降低 Linux 网络安装的技术门槛，我猜各大互联网公司的“机器管理”部门采用的基本都是这个技术。Cobbler（h

2016-06-06 11:12:50 418

转载浅谈自动化运维设计思想

背景随着信息时代突飞猛进般的持续发展，IT运维已经成为IT服务中最重要的组成部分。近年来，云计算、大数据等技术日趋成熟，生产应用自动化运维也被推到了风口浪尖。通过传统手段对大型计算机集群进行运维即使是简单的日常备份、服务器状态监控和报警，效率也十分低下，因此对自动化运维的需求已经迫在眉睫。传统运维的弊端：由人来发起运维事件，运维人员被动、效率低系统异

2016-06-06 10:58:05 4365 1

转载 CMDB简介

CMDB 是 Configuration Management Database（配置管理数据库）的简称，CMDB 存储与管理企业 IT 架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。更多关于 CMDB 科普内容可参考百度百科，或维基百科。笔者并不想给大家科普这些很硬的理论，看百科词条

2016-06-06 10:43:24 1968

转载 mysql处理海量数据时的一些优化查询速度方法

由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行一条条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是网上流传比较广泛的30种SQL查询语句优化方法：1、

2016-06-01 16:48:48 388

转载分布式系统CAP定理

CAP定理的常规解释是任何分布式系统只能在一致性(Consitency)，可用性(Availability)和分区容忍性(Partition Tolerance)中三选二。从问题出发假设我们用一台服务器A对外提供存储服务，为了避免这台服务器宕机导致服务不可用，我们又在另外一台服务器B上运行了同样的存储服务。每次用户在往服务器A写入数据的时候，A都往服务器B上写一份，然后

2016-05-31 10:58:19 519

原创 vim使用（持续更新）

全选快捷键：ggVG命令解释：gg 让光标移到首行，在vim才有效，vi中无效V 是进入Visual(可视）模式G 光标移到最后一行选中内容以后就可以其他的操作

2016-05-19 10:14:37 472

转载 Linux系统修改编码

Windows的默认编码为GBK，Linux的默认编码为UTF-8。在Windows下编辑的中文，在Linux下显示为乱码。为了解决此问题，修改Linux的默认编码为GBK。方法如下：方法1：vi /etc/sysconfig/i18n默认为:LANG="en_US.UTF-8"SYSFONT="latarcyrheb-sun16"修改为:L

2016-05-17 16:01:06 473

原创无状态服务 VS 有状态服务

对服务器程序来说，究竟是有状态服务，还是无状态服务，其判断依旧是指两个来自相同发起者的请求在服务器端是否具备上下文关系。如果是状态化请求，那么服务器端一般都要保存请求的相关信息，每个请求可以默认地使用以前的请求信息。而对于无状态请求，服务器端所能够处理的过程必须全部来自于请求所携带的信息，以及其他服务器端自身所保存的、并且可以被所有请求所使用的公共信息。无状态的服务器程序，最著

2016-05-12 10:20:18 19213 2

原创 jconsole连接远程jvm

关于这一问题，google搜索的前几个答案都是错的。正解如下：-Dcom.sun.management.jmxremote.port=8889-Dcom.sun.management.jmxremote.rmi.port=8889 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxre

2016-05-04 20:04:03 602

原创 grep、fgrep、egrep区别

stackoverflow的文章：链接down voteacceptedegrep is 100% equivalent to grep -Efgrep is 100% equivalent to grep -FHistorically these switches were provided in separate bi

2016-05-04 13:13:31 695

原创 Check $M2_HOME environment variable and mvn script match解决办法

Intelli IDEA 编译maven工程报错，提示：Check $M2_HOME environment variable and mvn script match解决办法，打开Intelli IDEA 配置对话框，选择“Maven”=》Runner=>"VM Options“，填入-Dmaven.multiModuleProjectDirectory=$M2_HOME

2016-04-22 17:33:52 9336 1

原创 python3时间处理

#!/noah/bin/python3 -uimport timesecond = str(time.time()).split('.')[0]print(time.localtime(time.time()))time.sleep(1)newSecond = str(time.time()).split('.')[0]t1 = int(second)t2 = in

2016-04-19 16:39:52 549

转载通过telnet连接查看memcache服务器

memcache作为一款优秀的进程外缓存，常常被运用于高并发系统架构中。这里主要谈谈怎么通过telnet工具，查看memcache运行状况并对其key进行管理维护。假设memcache安装目录：/usr/local/memcached 1、启动memcache[plain] view plaincopy[root

2016-04-18 16:49:18 368

转载一致性HASH算法详解

基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 object 的 hash 值，然后均匀的映射到到 N 个 cache ；求余算法: hash(object)%N一切都运行正常，再考虑如下的两种情况；1 一个 cache 服务器 m down 掉

2016-04-18 09:03:13 813

转载 Google数据中心网络技术漫谈

1.前言作为世界上最强大的互联网服务提供商之一，Google一直在推动着业界技术的发展，最知名的当属其在分布式计算领域的领先成果和领导地位。而随着Google的网络技术领域的领导人Amin Vahdat在2015年6月召开的Open Networking Summit （ONS，开放网络峰会）上首次发布了Google网络技术的演进路径并重点对其数据中心网络技术进行阐述，Google在网络领

2016-04-13 09:51:42 991

转载 C++资源汇总

这次的资源涉及到了标准库、Web应用框架、人工智能、数据库、图片处理、机器学习、日志、代码分析等，C++程序员学习必备！Jasonfrozen ： C/C++的Jason解析生成器Jansson ：进行编解码和处理Jason数据的C语言库jbson ：C++14中构建和迭代BSON data,和Json 文档的库JeayeSON：非常健全的C++ JSON库，只包含头文件JSON+

2016-04-13 09:35:55 335

转载基于Mesos和Docker的分布式计算平台

基于Mesos和Docker的分布式计算平台Docker圈里人针对“互联网+”时代的业务增长、变化速度及大规模计算的需求，廉价的、高可扩展的分布式x86集群已成为标准解决方案，如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展，又给大规模集群管理带来了新的想象空间。如何将二者进行有效地结合？本文将介绍数人科技基于Mesos和Docker

2016-04-13 09:12:03 445

转载你所不知道的TIME_WAIT和CLOSE_WAIT

高性能网络 | 你所不知道的TIME_WAIT和CLOSE_WAIT2016-02-18 大房既然很多人都搞不清楚TIME_WAIT和CLOSE_WAIT，那么小胖哥今天还是抽个时间，统一帮大家理理概念吧。你遇到过TIME_WAIT的问题吗？我相信很多都遇到过这个问题。一旦有用户在喊：网络变慢了。第一件事情就是，netstat -a |

2016-04-12 10:13:12 534

转载 linux之cgroups资源限制

1. cgroups是什么cgroups（Control Groups）最初叫Process Container，由Google工程师（Paul Menage和Rohit Seth）于2006年提出，后来因为Container有多重含义容易引起误解，就在2007年更名为Control Groups，并被整合进Linux内核。顾名思义就是把进程放到一个组里面统一加以控制。官方的定义如下{![

2016-04-12 08:38:53 2240

原创 shell脚本实例

代码如下：#!/bin/bash# clean job info from database which created 60 days ago# before clean data, get offset from bns, then delay [offset * 1800] s# if get offset failed. clean operation will not be exe

2016-03-31 16:20:56 659

原创 Intelli IDEA与java/maven

参考：链接待补充。。。。。。Just in case you have that error again go to Settings -> Maven -> Runner and add-Dmaven.multiModuleProjectDirectory=$M2_HOMEto VM Options.

2016-03-22 13:14:46 432

原创 mysql直接导出数据

命令如下：mysql -h cp01-dba-dbbk-036.cp01 -P 5511 -udonghan -pdonghan -Doped_noah_virgo -N-e" set names utf8; select distinct job_instance.create_user_name , token.create_user_name from job_instance, t

2016-03-21 12:55:39 424

原创 mysql与java

刚开始写java，立即遇上一堆名词：jetty，maven，spring等等。这不，一个问题卡住了我半天：project里使用了c3p0连接池（链接），用于管理jdbc与mysql的连接。问题是每次select数据都会返回同样的错误：Communications link failure，The last packet successfully received from the serv

2016-03-17 19:22:47 550

原创 sed替换特定字符

如下命令可以完成替换文件中特定字符串的功能：sed -i -e 's/__VERSION__/2222/g' sed_test在shell脚本里，这样写是没有作用的，正确的版本如下：sed -i -e “s/__VERSION__/2222/g” sed_test

2015-11-11 13:05:50 865

原创 tar排除特点文件打包

排除部分文件再解压：tar zcvf pssh-lib.tar.gz ./* --exclude ./pssh.py --exclude ./build.sh --exclude ./outputtar zcvf pssh-lib.tar.gz ./* --exclude='*.py‘ --exclude ./output不解压了，只查看：tar tvf pssh-

2015-11-10 16:42:38 463

原创 shell里如何完美判断环境变量是否存在？

如果希望判断一个环境变量是否存在，如￥$TEST，如下if [ -n "${TEST+1}" ]then echo "$TEST exist !"else echo "$TEST exist !"fi参考：点此

2015-11-10 16:02:33 5147

原创 python3格式化时间

如下将输出类似的格式：Wed Nov 4 21:03:24 CST 2015time_str = datetime.datetime.now().strftime("%c")参考http://www.tutorialspoint.com/python/time_strftime.htm

2015-11-05 15:37:54 510

原创 yii提示The table "xxx" for active record class "DistAR" cannot be found in the database

今天一早打开测试环境页面，迟迟打不开，一直提示”The table "dist" for active record class "DistAR" cannot be found in the database.“。经过排查，在数据库中执行”desc xxx“出现”Got error 28 from storage engine“的错误提示。解决办法：删除数据目录下无用的文件，数据。重启m

2015-10-22 10:39:11 1615

原创 phthon3面向对象设计

phthon3面向对象设计，有如下要点：1）只有在类的一开始声明的变量才能继承，在__init__方法里声明的不能继承；2）要坚持类是否具有某一变量，例如count，这样检查：if hasattr(self, 'count')

2015-10-21 13:26:37 527

转载 svn版本管理之trunk、branched、tags

转载自：这里，感谢原作者的整理。在一些著名开源项目的版本库中，通常可以看到trunk, branches, tags等三个目录。由于SVN固有的特点，目录在SVN中并没有特别的意义，但是这三个目录却在大多数开源项目中存在，这是因为这三个目录反映了软件开发的通常模式。trunk是主分支，是日常开发进行的地方。branches是分支。一些阶段性的release版本，这些版本是可

2015-10-13 20:20:49 459

转载 crontab详解

转载自这里，感谢原作者的整理。通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。19.1. 命令格式crontab [-u user] [ -e | -l | -r ]19.2. 命令参数

2015-10-08 14:12:09 312

原创 python字典按照值排序

第一种方法：d = {"aa": 3, "bb": 4, "cc": 2, "dd": 1}genexp = ((k, d[k]) for k in sorted(d, key=d.get, reverse=True)) for k, v in genexp: print(k) print(v)

2015-09-23 11:07:51 474

原创 python的soap模块扩展

支持列表如下：Python 2:SOAPy: discontinued Python 2 projectZSI: discontinued Python 2 projectsoaplib: discontinued Python 2 projectSUDS: discontinued Python 2 project (no activity since 02/20

2015-09-17 16:38:52 1177

原创使用python发起post请求

代码如下：#!/noah/bin/python3 -u# -*- coding: utf-8 -*-#read from mysql based on dist-id, then get enough info send to ccsimport subprocessimport sysimport jsonimport osimport urllib.parseimpor

2015-09-17 13:05:16 627