2013年11月_longshenlmj

原创云时代的风云变换

读了IBM的云观点，我相信，他也要开始发力了在大数据的时代，云处理已经成为一种普遍的处理手段，至少目前为止，云框架还是最普遍接受，并且应用性最广泛的框架。不同于传统的分布式并行计算，云拥有者太多可以广泛的使用的特点。大数据是什么，就是青年人的性爱，大家都在谈论，可没人知道真正怎么做，大家都很感兴趣，却不知道到底是什么，都以为别人在搞，自己要假装很懂的样子，在中国，但凡是家企业

2013-11-29 11:26:56 931

转载 ibm云时代的转型

好几个月了，有两个说法很流行。第一个说法，是老有人嚷嚷思科快被SDN整趴下了；第二个说法，是老有人嚷嚷IBM在云计算时代完全落后了，要倒下了。刚开始我还跟有些人辩论：1、裁员是西方企业常用的战略调整方法，对个体也许冷酷对企业却属常规；2、这两个企业不但财务状况很strong，而且技术上的leadership短期内无法替代；3、IBM也好思科也好，的确面临困难，但是它们的转型方向

2013-11-29 11:09:43 1843

原创代码中简单实现四舍五入（加上0.5取整）适用于所有语言

int representGoal = (int) (graph.goal*representRatio+0.5);只需要加0.5取整。

2013-11-29 10:41:22 5062

转载新手阅读大型代码库

Casey问我：“对于新手，有什么有针对性的诀窍来阅读大型代码库吗？”碰巧，我认为这是一个非常好的问题。我觉得想要成为一个优秀的开发者，阅读代码库并弄清清楚内部是怎么回事的能力非常重要。在你的职业生涯中你会中途加入一个现有的项目并被要求迅速融入进去。或者，甚至更难，会有一个项目丢给你让你自己一个人搞清楚。最坏的情景就是你被带入一个项目，要你替换掉让工程运行失败的“那些肆无忌惮的*杂

2013-11-27 16:05:44 1122

原创易信，不改难成大事

微信一家独大，称霸智能手机市场的趋势，基本已经成型。而最可怕的是，腾讯土豪的推广方式，不断扩大的应用服务。这时候易信的退出本来是一个有力的竞争者，但易信真令人失望。我们几个安装上就卸载了。其实最为吸引人的方式就免流量，可是安装后，没有朋友聊天，我都不知道跟谁聊。门槛高，限制广。让大部分人感到没有切实感到免费流量。我都感觉收了欺骗所以大部分人一看麻烦就直接卸载了。

2013-11-27 14:07:05 1207

原创 shell脚本调用python脚本的路径问题

[deve_test_user@A3-Tracker-redis-deve script]$ vim testobseve.sh 1 file_path=`dirname $0` 2 echo $file_path 3 4 testfile="$file_path/observereport" 5 python $testfile/test.pytest.

2013-11-22 18:07:25 9314

原创 shell脚本里面相互调用时路径不要用pwd获取

场景：脚本 observerReport.sh 里面调用 mergerReport.sh，observerReport.sh在script/目录， mergerReport.sh在下一级子目录script/merge里，此时，如果mergerReport.sh里面用pwd生成路径，并不会是 script/merge，而是当前脚本的执行路径，也就是script。所以要用 dirname

2013-11-22 17:51:29 4464

原创粒子滤波（PF：Particle Filter）

粒子滤波指：通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，再用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程，波动最小，这些样本被形象的称为“粒子”，故而叫粒子滤波。粒子滤波(PF: Particle Filter)的思想基于蒙特卡洛方法(Monte Carlo methods)，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想

2013-11-21 17:52:53 3315

原创 linux的link命令

sudo ln -s 源文件目标文件sudo ln -s /usr/local/mysql/bin/mysqladmin /sbin/mysqladmin 参　　数：-b或--backup #删除，覆盖目标文件之前的备份-d或-F或--directory #建立目录的硬连接-f或--force #强行建立文件或目录的连接，不论文件或目录是否存在-i或--interac

2013-11-20 17:08:56 2594

原创 git stash

当在本地开发一段时间后，突然有了变动，比如想修复一个bug，但是本地新开发的代码不想上传，为了保持线上稳定性。这是，用stash 暂存当前工作，回到git库上最近一次的提交，等完成动作后，再恢复到开发时的状态，继续工作。首先，添加所有当前以开发的变动：git add .然后保存改动，并跳到最后一次提交：git stash则当前状态会最近一次提交，完成工作如修复bug，

2013-11-19 19:09:53 1682

原创脚本自动化 ant

用ant，shell下也可以用make。1，ant 是一个自动化编译工具，安装使用。2，编写build.xml，核心，写明进行哪些操作，删，建，编译，javac，java等，从例子可以看出每个操作都有固定格式，各种语言都有自己的包，下载安装，即可调用对应的api（按格式添加对应参数，执行即可）。具体内容需要查询。举例如下： #参数文件

2013-11-19 11:31:04 1602

原创测试驱动开发TDD(test drive development)

classpath，路径列表。告诉java需要加载类的存放位置， java会去搜寻。这种机制实现了动态加载。java -cp 加载类路径执行类名：加载类路径可是绝对，也可以相对。代码重构机制：1，保证没有重复2，干净，有表现力，能清楚知道意图。如一，去除不必要的局部变量（作用：中间传值），将函数结构直接传给下一个函数。二，代码中不得出现无意常数，或是字符

2013-11-18 16:42:43 1595

转载 IDE

IDE(Integrated Development Environment,集成开发环境)。DE集成开发环境（简称IDE）软件是用于程序开发环境的应用程序，一般包括代码编辑器、编译器、调试器和图形用户界面工具。该程序可以独立运行，也可以和其它程序并用。例如，BASIC语言在微软办公软件中可以使用，可以在微软Word文档中编写WordBasic程序。IDE为用户使用Visual Basic、J

2013-11-18 10:50:20 2090

转载 Apache Hadoop 2.0.2-alpha

原文出处http://hadoop.apache.org/docs/r2.0.2-alpha/hadoop-yarn/hadoop-yarn-site/Federation.htmlHDFSF分为2层 namespace和block storageNamespace 由目录，文件和快组成支持所有的namespace 文件相关的操作，例如增，

2013-11-15 16:10:56 1041

原创 hadoop的节点间的通信

一个DataNode上的Block是唯一的，多个DataNode可能有相同的Block。2）通信场景：（1）NameNode的映射表上不永久保存每个DataNode所对应的block信息，而是通过DataNode启动时的上报，来更新NameNode上的映射表（DataNode和Block）。（2）DataNode和NameNode建立连接后，会定期心跳检测更新信息，心跳的返回也包含Na

2013-11-15 16:05:57 3205 1

原创数据库事务的4个特性ACID

原子性(Atomicity[ætə'mɪsɪti]）原型atomic、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）

2013-11-12 14:51:16 1298

转载 redis简介（keeper实时报表的基本部分）

网上有一篇介绍Redis的文章，由浅入深地讲解了Redis：http://blog.mjrusso.com/2010/10/17/redis-from-the-ground-up.html。强烈建议对Redis有兴趣或需要使用的朋友阅读这篇文章。提到Redis，第一反应就是内存k/v缓存，并且很多人会拿它与Memcached相比较，毕竟他们都是以内存作为存储介质的。如果简单地比较Redis与

2013-11-12 14:16:42 2297

转载 HADOOP中的CRC数据校验文件

Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件，并在读写的时候进行校验，确保数据的准确性。比如我们遇到的这个Case：执行的命令：hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt multisteps_output 2011-01-25出

2013-11-12 13:58:13 5065

转载 /dev/null 2>&1的意思（可以直接参考shell重定向那篇，/dev/null是空设备）

路还长别太狂以后指不定谁辉煌2>&1 和 &> 的解释Linux的IO输入输出有三类Standard Input 代码 0Standard Output 代码 1Standard Error 代码 2ls thereisno 1> out.txt 标准输出重定向也可以不加1写成 ls thereisno > out.txtls thereisno 2> out

2013-11-11 11:21:46 1444

转载 git使用详解

1. Git概念1.1. Git库中由三部分组成Git 仓库就是那个.git目录，其中存放的是我们所提交的文档索引内容，Git 可基于文档索引内容对其所管理的文档进行内容追踪，从而实现文档的版本控制。.git目录位于工作目录内。1）工作目录：用户本地的目录；2） Index（索引）：将工作目录下所有文件（包含子目录）生成快照，存放到一个临时的存储区域，Git称该

2013-11-08 17:38:27 975

原创 my project 中git使用过程（基本操作流程）

1.g it clone git@name:server/BM/APPS.git 则BM_APPS.git项目被下载到当前目录下了，这时git@name:server/BM/APPS.git就是自己的origin库。2.为自己的仓库定义别名为方便以后操作，可给自己的仓库定义一个别名： #git remote add fork git@nam

2013-11-08 17:05:08 1362

转载 hadoop上C++开发两种方式的例子

百度在使用Hadoop过程中同样发现了Hadoop因为Java语言带来的低效问题，并对Hadoop进行扩展。而在此之前，百度也尝试了 Hadoop PIPES 和 Hadoop Streamming，但是发现这些问题：- 这两种方案都无法很好地控制Child JVM（Map TaskTracker和Reduce TaskTracker）内存的使用，这部分都由JVM自己控制，而你能做的就

2013-11-07 18:53:30 5891

转载 hadoop上的C++程序开发

hadoop可以用C++开发，命令运行方式为pipes，例子：hadoop pipes -conf job_config.xml -input input/myfile.txt -output output -program bin/wordcount另外，还有一种streaming方式（？）运行java 程序，是打成jar包，使用hadoop jar命令，如果"hadoop jar 程序

2013-11-07 18:48:46 2047

原创 some phrase for oral english

In your dreamsThere's no way you caught a fish that big.there's no way that's true.It is a way to tell people that。。。when someone responds to you by saying I caught a fish this big.they ar

2013-11-07 18:31:30 1495

转载 python的安装，IDLE基本操作

§一、安装Python1. 下载Active Python安装包根据你机器型号download Python，32b选择for windows X86，64b选择for window 64b2. 运行，安装，成功§二、程序执行3. 打开IDLE（python GUI）,输入简单脚本4. Python传统运行模式：Python解释器：运行Python程序的

2013-11-06 14:36:50 3697

原创 of这个变态

英式口语还能听懂，一到美式，连读，爆破，就让人疯掉。尤其big bang theory，of就是个变态，其读法有,英[əv, əv, v, f] 美[əv, ɑv,əv]。但大部分都是/əv/。而且经常省略如：照顾他”是take care of him（这里of就发得很不明显，基本上只有嘴型没有怎么出声）而a pound of sugar 这里的of不发音,直接说的就是a po

2013-11-06 14:21:34 1036

转载一分钟先生：程序员面试真经

看见万兴所以就分享了，这是我本科毕业后签的第一家软件公司，当时感觉好累啊，所以就读研去了，没有去。现在才发现其实相对轻松了。作为面试官，在面试程序员时，都会关注哪些问题？而程序员应该从哪些方面做好面试的准备？本期话题相信对面试官和程序员都会有所启示。刘秋伟深圳市万兴软件有限公司研发总监与其他岗位相比，程序员相对来说会内向一些，思维也会更严谨、更有个性。企业招聘程序员就是要

2013-11-06 13:42:45 1523

原创 shell的字符串和数字的转化（数字自动做字符串处理，变量名做字符串输出用单引号）

shell里面怎么样把字符串转换为数字？例如：a="024"1，用${{a}}2，用let达到(()) 运算效果。let num=0123;echo $num; 833双括号运算符:a=$((1+2));echo $a;等同于：a=`expr 1 + 2`

2013-11-05 15:03:41 93040 1

原创 shell的date命令：使用方法，以及小时、分钟的计算

时间和字符的转化：可以通过date 的输出格式控制实现，但是月日年，和小时分秒必须分开处理，否则会无法识别。such as 2013-10-30 20:12:59或者20131030 20:12:59注意：1，二者之间必须用空格分割；2，年月日作为整体容易识别，格式十分灵活，可以随意写。但小时分秒必须用冒号：分开，否则无法识别。字符串转时间的命令：2011111前一天 d

2013-11-05 15:00:19 41444

转载一篇详细的linux中shell语言的字符串处理

cut是以每一行为一个处理对象的，这种机制和sed是一样的。（关于sed的入门文章将在近期发布）2 cut一般以什么为依据呢? 也就是说，我怎么告诉cut我想定位到的剪切内容呢?cut命令主要是接受三个定位方法：第一，字节（bytes），用选项-b第二，字符（characters），用选项-c第三，域（fields），用选项-f3 以“字节”定位，给

2013-11-04 14:31:52 1573

转载 linux的string操作（字符串截取，长度计算）

按指定的字符串截取1、第一种方法:${varible##*string} 从左向右截取最后一个string后的字符串${varible#*string}从左向右截取第一个string后的字符串${varible%%string*}从右向左截取最后一个string后的字符串${varible%string*}从右向左截取第一个string后的字符串“*”只是一个通配符可以不要

2013-11-04 14:30:17 6308

转载 linux下数学运算器：expr命令（shell中完成数学运算）

expr用法 expr命令一般用于整数值，但也可用于字符串。一般格式为： expr argument operator argument expr也是一个手工命令行计数器。 $expr 10 + 10 20 $expr 1500 + 900 2500 $expr 30 / 3 10 $expr 30 / 3 / 2 5 (注意运算符左右都有空格)

2013-11-04 13:56:52 2219

原创 shell脚本格式的几点注意：格式严格，空格不能随便出现（一写就记不住）

比如 bin=`dirname "$0"`如果写成bin =`dirname "$0"`就执行错了。可以看到结果不一样例子：#!/usr/bin/bash#set environmentsource /etc/profilebin=`dirname "$0"`echo $binecho "$bin"echo '$bin'echo ${bin}echo "

2013-11-01 17:21:48 5172

转载 vim的颜色修改，高亮设置。

在vim.org 搜一下,下载一个color scheme,放到~/.vim/colors/下(linux)或者$HOME/.vim/colors/下(windows)再在你的.vimrc文件中加一句colorscheme *.vim*代表你刚才下的colorscheme!或者你直接到里面加一句colorscheme morning这个morning是自带的一个!

2013-11-01 16:30:51 4811

原创 pyhton exit

exit("0") is normally out, and means "successful termination"exit("1") is abnormal, and means "abnormal termination”. Most systems require it to be in the range 0-127. sys.exit("some errormess

2013-11-01 14:36:44 1012

longshenlmj的专栏