- 博客(93)
- 收藏
- 关注
RSS订阅原创 shell stdin 变 参数
有时候我们想让一个标准输入流变成下一个脚本的参数，就可以使用xargsecho ok | xargs sh ok.sh 这个时候 ok.sh 的参数就是 ok同理，find 也是一样find / -type f -print | xargs grep "device" ...
2013-06-04 12:40:54
272
java在命令行中加入从classpath加载resource
有很多时间需要将 resource 加入到 classpath中 如一些配置文件，如果写死配置文件的路径，不方便迁移，不够优雅，所以我们必须在代码中写相对路径，我一般通过 getClass().getResourceAsStream("/xxx.txt") 来获取这些配置文件, 通过 classloader 也是可以的。在一般生产环境中，java程序都是通过命令行写成的，...
2013-05-29 12:20:17
393
原创 postfix 常用命令
1. 将队列里的东西立刻发出去（一般不用，让postfix自己决定）postqueue -f 2. 打印队列里的邮件(常用)postqueue -p 3. 删除队列中的内容（常用）postsuper －d ALL 更加详细的解释http://blog.163.com/qiantu1986@126/blog/static/35922669201...
2013-05-23 20:38:34
260
原创 postfix 最简 安装
安装版本： yum install postfix 注意： postfix reload 这个命令在一些版本里面无法正常刷新配置，需要 postfix stop,然后postfix start 一下。 要远程访问到，需要在 /etc/postfix 下面修改main.cf 把前面的 # 去掉 xx.xx.xx.xx 是你远程机器的地址myne...
2013-05-21 17:47:40
156
原创 maven plugins 常用
1。 测试用例<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <version>2.5</version>
2013-05-15 15:26:52
155
nutch crawler 解析 下
好，咱们继续。parse$bin/nutch parse $commonOptions $skipRecordsOptions $CRAWL_PATH/segments/$SEGMENTCLASS=org.apache.nutch.parse.ParseSegment这就是传说中的解析网页内容的操作。map中：首先只解析成功的内容，看上一步返回的状态码，如果不是成功的情况...
2013-05-14 12:01:04
96
原创 从crawl 脚本看 nutch crawl过程 上
crawl 脚本用来实现 nutch 中对于网页的抓取 分析 索引工作。 把工程下下来之后 ，进入到 bin 目录：两个脚本文件 crawl nutch crawl 是对nutch 的进一步封装 首先我们看一下他的注释：# UNLIKE THE NUTCH ALL-IN-ONE-CRAWL COMMAND THIS SCRIPT DOES THE LINK INVERS...
2013-05-12 21:43:36
242
原创 集体智慧编程 简介
Netflix 是一家在线租片儿的公司， 并且更具用户过去租片的行为来进行推荐， 他悬赏100万美元去奖励第一个把租片成功率提高10%的团队，以及5 万美元给这个团队的leader，通过提供用户以前租片的纪录给团队们进行推荐，现在做的最牛屄的团队是提高了 7%。 google 是意见搜索公司，创立当时有很多其他的公司， 但是google 通过其他网页对他的外链来进行排...
2013-05-06 21:11:38
290
原创 date n 分钟前以及常用函数
n分钟前 小时 秒 类推：date -d "-10 min" "+%Y-%m-%d %H:%M:%S"现在的时候用转换成秒： date +%s知道秒数 看日期： date -d "$((1387468804-`date '+%s'`)) sec" "+%Y-%m-%d %H:%M:%S" 或者快捷方式 date -d @xxxxx日期转秒数 date -d "2015-...
2013-05-06 19:44:12
187
原创 推荐系统试验方法和指标
在介绍推荐系统指标之前，首先看一下计算和获得这些指标的主要实验方法。在推荐系统中，主要有三种评测推荐效果的实验方法，即离线实验（offline experiment） 用户调查（user study）和在线实验 （online experiment） . 1. 离线实验（1） 通过日日志收集用户行为数据，并按照一定的格式生成一个标注的数据集。 （2）按照一定的规则将数据集划分为...
2013-04-23 14:27:25
226
原创 推荐系统概论
什么是推荐系统以及推荐系统解决的问题：解决信息过载的问题，当用户面对信息过载的时候， 需要人工或者工具帮助你做筛选，给出一些建议供用户选择。用户需要一个自动化的工具，分析历史兴趣。这个工具就是个性化推荐系统。互联网已经把人们从信息匮乏的时代带到了信息过载的时代，对于信息消费者，从海量的数据中找到自己感兴趣的信息是一件非常困难的事情。对于信息的生产者，让自己产生的信息脱颖而出，也是一件非...
2013-04-23 10:48:21
200
原创 maven 备用
[ZT]Maven常用命令 收藏 Maven常用命令 关键字: maven常用命令1、常用命令mvn compile 编译主程序源代码，不会编译test目录的源代码。第一次运行时，会下载相关的依赖包，可能会比较费时。mvn test-compile 编译测试代码，compile之后会生成target文件夹，主程序编译在classes下面，测试程序放在test-classes下。m...
2013-03-23 23:32:08
117
kafka 之 producer篇
前面三章从 kafka.kafka 启动类 抽丝剥茧，看了 kafka broker 的架构。下面咱们从 producer 的角度，producer的逻辑相对简单，再看看 client 端，和 broker 都干了什么。 首先，咱们看看官方给出的 examples， 在包中的examples\src 下有给出的示例，java版的，搞到eclipse中。 producer...
2013-02-19 20:42:26
134
kafka 的network
好了 ， 接着上一章 ， 我们回到kafka的 kafkaserver 这个重量级的类。 val handlers = new KafkaRequestHandlers(logManager) socketServer = new SocketServer(config.port, confi...
2013-02-18 21:37:42
98
原创 拨开kafka 的羊毛衫
好的， 上篇把 kafka.kafka 干的事情解析了一遍， 什么都看不出来， 是的， 什么都看不出来他干了什么。那么这章来电干货。 在kafka中， 主要资源的协调，开始运行时在class KafkaServer(val config: KafkaConfig) extends Logging这个类中进行的。 在初始化这个类的时候，他做了一件事情。 val sc...
2013-02-17 22:01:09
144
拨开kafka 的外套
最近闲来无聊，研究了一下 消息队列 kafka，拜读了其源代码。 阅读源代码的准备：1. 由于kafka 使用scala 这种语言编写，所以想要看的更人性化一些，请安装 scala ide 自己谷歌一下， 建议到官网上下, 这是一个scala 的 eclipse 插件，一定注意下载跟自己eclipse 版本配套的插件， 如果你确定能用记事本看， 可以无视这一点。2. 下载ka...
2013-02-17 16:07:59
86
原创 shell 判断 404
wget -q -t 3 -O ${TMPFILE} ${URL} if [ ! -s ${TMPFILE} ];then echo ${URL} > $TMPOFFLINEFILE ; fi
2013-02-04 22:24:31
321
原创 kafka 设计概论
翻译自:http://kafka.apache.org/design.html核心设计:1. 整体设计(特色)(1) 默认使用持久化(2) 优先考虑 吞吐率(3) 信息的消费状态在 consumer 端记录 而不是 server 端.(4) kafka 完全是 分布式的, produces broker consumer 都认为是分布式的.2. 解决的问题...
2013-01-25 12:48:46
116
原创 zookeeper 入门 (来自官方文档)
来源于:http://zookeeper.apache.org/doc/trunk/zookeeperProgrammers.html#ch_guideToZkOperations讲对于 zookeeper 编程的简介: 简介:本文讲了如何应用zk的优势创建分布式应用,包含了如下几个部分. 首先4个章节从一个比较抽象的层面讲了zookeeper的概念, 这使读者能够理解...
2013-01-13 19:50:52
184
原创 java 线程安全的实现方式
线程安全的定义:<<Java Concurrency In Practice>>的作者Brian Goetz 对"线程安全"有一段定义: 当多个线程访问一个对象的时候, 如果不用考虑这些线程在运行时环境下的调度和交替执行, 也不需要惊醒额外的同步,或者在调用方惊醒任何其他的协调操作,调用这个对象的行为都可以获取正确的结果,那这个对象就是线程安全的. 我们把ja...
2012-12-31 18:48:00
220
原创 java 内存模型与线程 正文
在前传中讲述了jvm中内存的划分, 是从线程的维度, 而不是从堆 , 栈,方法区的角度.两者直接属于不同维度.前传中讲述了java内存的基本概念.这一章主要说一说内存间交互以及java中一些关键字, 一些规则的实现1.在内存间的交互操作 关于主内存与工作内存之间的具体的交互协议.有如下8中操作:[/size](1) lock: 作用与主内存的变量,一条线程独有.[/size](2)...
2012-12-31 15:39:23
134
原创 java 内存模型与线程 前传
尽管各类框架 , 中间件已经尽可能的处理多的线程并发细节,让程序员在编码时更注重业务逻辑, 但是了解一些并发内幕比不可少. 在实际硬件中的并发问题跟jvm虚拟机中的问题有一些相似之处. 任何任务都不是光靠计算才能完成, 最起码得与内存有交互,比如取运算数据,存储结果等等,由于计算机的存储设备与处理器的计算能力有几个数量级的差别, 所以计算机不得不加入一个读写尽可能接近处理...
2012-12-31 14:37:24
113
原创 awk 中简单的去重方法
一个简单的去重方法：awk '!($1 in a){a[$1];print $1}' 同样达到效果的sort $1 | uniq
2012-11-25 17:00:55
1114
awk 中 对于tail f 的文件重定向
先看一下如下两个命令：tail -f in | awk '{print $0}' 如果我们不断的往 in 中输入，结果是可以输出来的。 第二条命令 awk ‘{print $0}’ in >> out是可以把 in中的内容 打印到 out中的 第三条命令 把如下两个命令结合起来，就不好使了 tail -f in | awk '{...
2012-05-03 14:46:30
1436
awk 备用
原文地址： http://xu020408.blog.163.com/blog/static/26548920097259241686/ 1. awk简介awk是一种编程语言，用于在linux/unix下对文本和linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模...
2012-05-03 14:06:35
74
原创 tomcat catalina.sh 解析
了解 catalina。sh 里的构造，对debug tomcat有决定性的作用。// 获取 当前执行的脚本的名字PRG="$0"// 按照英文翻译 是处理软链接的 没看懂while [ -h "$PRG" ]; do ls=`ls -ld "$PRG"` link=`expr "$ls" : '.*-> \(.*\)$'` if expr "$...
2012-04-27 20:04:36
313
高斯背景模型在 监控中的应用
高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。 在运动检测中做了大量的应用，在只能的监控系统中，对于系统当前状态的检测是中心内容，用一个高斯模型来表示单点需要监控的东西特征，在新的状态过来之后更新现有的模型，用当前的状态值和高斯模型进行匹配，如果能够匹配到，则是正常的，...
2012-04-19 20:40:21
128
原创 mysql 备用
第一招、mysql服务的启动和停止net stop mysqlnet start mysql第二招、登陆mysql语法如下： mysql -u用户名 -p用户密码键入命令mysql -uroot -p， 回车后提示你输入密码，输入12345，然后回车即可进入到mysql中了，mysql的提示符是：mysql>注意，如果是连接到另外的机器上，则需要加入一个参数-...
2012-03-07 18:33:56
104
大并发量 session跟踪 及持久化
servlet容器通过在客户浏览器中保存一个sessionid来跟踪 session，如果浏览器关闭了session，就得通过其他手段来跟踪用户的状态，在 java servlet api 中，提出了更总session的另外一种机制，如果客户端不支持cookie，可以通过重写url来达到一定的目的，将sessionID 放到url中，httpservletresponse中有一个 enc...
2011-12-23 20:23:22
184
原创 java.net.SocketException: Too many open files 问题的解决办法
java.net.SocketException: Too many open files 问题的解决办法 (转)linux 上tomcat 服务器抛出socket异常“文件打开太多”的问题 java.net.SocketException: Too many open filesat java.net.PlainSocketImpl.socketAccept(Nat...
2011-12-18 14:33:04
509
spring 之浅析1
我们知道，在spring中，会通过一个listener来来监听事件， org.springframework.web.context.ContextLoadListener。 因为在webapp初始化之后，root web application context 就能够当做ServletContext作用于整个webapp，它能够被重新获得，通过spring中的方法，也就...
2011-10-22 17:36:04
79
原创 一个识别文件的工具
cpdetector是一个识别文件的工具。常用的utf - 8 ，还有GBK，都能够很好的识别，可以到官网上下载最新的jar包，一定要将cpdetector_1.0.8.jar，antlr-2.7.4.jar，还有chardet-1.0.jar引入其中。 CodepageDetectorProxy detector = CodepageDetectorProxy.getInstanc...
2011-09-29 19:25:57
259
动手之前先想想
SERVICE LOCATOR OR DI 这两种方法都能够将一些类解耦，那关于这两种模式的区别主要在于这些插件怎么样被用到工程之中，如果是用service locator的话，系统会告诉locator具体他要的是什么，而用DI的话，没有明确的请求，由容器来控制反转。 IOC是大部分framework所提供的功能，不过它是有代价的，他不容易被理解，而且难以被debug，所以我建议最好不要...
2011-09-12 14:51:50
107
IOC和DI
在java里，有很多方法可以把许多组件或者接口组成一个大的应用程序，Dendency Injection可以作为服务定位器的一种实现。 在j2ee的世界中有很多的开源的，活跃的框架实现了Inversion of control ，比如说 PicoContainer 和spring，探究一下他们表面下面的一些原则是很有意思的一件事。 说起组件可以找到上百本书和概念去介绍他，而我理...
2011-09-09 21:16:02
117
memcached 入门
现在越来越多的企业用memcached,今天听到一个校友给我讲起了关于memcached的一些介绍。 首先，他是一个用到协议的框架，支持TCP协议，通过socket连接，常用的端口是11211，为什么要支持协议呢？这主要是通过协议，可以屏蔽掉一些语言层的东西，也就是说与具体的语言无关，java可以用RMI啥的访问，c++有它的访问机制。 其次，memcached是单线程及NIO的，所以他...
2011-08-31 20:52:11
96
人人网开源框架 paoding-rose 应用初探
rose是人人网、糯米网释出的、开源的高效Java web开发框架。 整个流程是这样的： 1，通过net.paoding.rose.RoseFilter 这个过滤器来进行初始化。 2，然后是对请求的封装，都封装到一个Invocation中。 3，在控制器中，如果调用service层的东西，增加@Autowired注释。 4，这也是我觉得这个框架比较神奇的地方，他...
2011-08-31 10:56:13
410
原创 北软实训之hibernate session
今天听老师给我们上了一堂关于hibernate的课，对于hibernate的基本操作有了个大致了解，关于多对多，一对一，一对多，多对一有了很好的了解，以前都是用myeclipse自动生成的hibernate映射文件，这回看了他自己动手搭了一个环境，自己从头开始写配置文件，收获还是不小的。 首先跟自动生成不一样的是那个多对多的映射，自动生成的直接在set集合中显示的是那个关系...
2011-07-23 22:40:32
103
原创 北软实训之二
在北软实训这里，我完成了第一个自己手动完成的模块，权限管理模块，揭开了权限管理的神秘面纱。想想权限管理，既在意料之外，又在情理之中。1. 首先，在用户登录的时候将ID放入session之中。由于其他组员使用ajax进行交互的所以把id值返回，document.login.userID.value=result; 将在主界面之中将，userID加入其中。2. 在页...
2011-07-18 21:15:12
88
原创 北软实训之一
北软找了个外来的老师来教我们一些东西，给我们讲了一下struts2，对于工作而言，struts2这种技术没有任何意义，但是对于一种学习而言，我可以掷地有声的说，这有里程碑级的入门作用。他让我们对于框架技术有了很好的一个学习的手段。首先对于一个框架的使用，主要得了解两方面的东西，第一是他的jar包，第二是他的配置文件。一般会给你一些app包，让你了解一些实例，叫你如何运用这些框架。在核心包中会给...
2011-07-18 21:13:52
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人