linest00-CSDN博客

原创 python weibo sdk

[code="python"]class _Callable(object): def __init__(self, client, name): self._client = client self._name = name def __getattr__(self, attr): if attr=='get'...

2013-03-28 14:22:15 126

原创 CAP原理

Brewer 理论一致性(Consistency)可用性(Availability)分区容忍性(Partition tolerance)不能同时兼顾，要有trade off一致性（Consistency）：任何一个读操作总是能读取到之前完成的写操作结果，也就是在分布式环境中，多点的数据是一致的；可用性（Availability）：每一个操作总是能够在确定的时间内返回，...

2012-04-11 18:29:46 173

原创 console 输入输出

读EOF结尾scanf返回读出变量数如果没读出返回-1EOF就是常量-1[code="c"]while(scanf("%d %d",&a,&b)!=EOF){}[/code][code="c++"]while(cin>>a>>b){}[/code]读字符串整行scanf以空格分隔gets以回车分隔[code="c&q

2012-04-10 17:06:32 168

-1.#IND00

使用pow函数做开方操作 pow(-10,1/3.0)结果是奇怪的-1.#IND00查了一下原来pow的第一个参数要是正数，so -pow(10,1/3.0)类似的错误是sqrt(-1) 负数开平方也会同样报错...

2012-04-09 16:40:22 515

原创 malloc 和 calloc

两者都是从堆上申请空间malloc只有一个参数，就是分配大小calloc有两个参数，分别是元素数目和每个元素大小calloc返回一个元素数组而malloc只返回一个空间整体malloc分配的空间不会初始化calloc分配时会初始化...

2012-04-03 11:11:35 88

原创 hadoop 实践

http://blog.csdn.net/dajuezhao/article/details/6591034写的很好保存留用~一、背景Hadoop的集群使用也有些时候了，不过都是小集群的使用（数量小于30台）。在这个过程中不断的进行着配置调优的操作。最早的时候，在网上也没有找到一些合适的配置调优方法，于是，我在这里列举一些基本的调优配置，以供参考。最后，还有一个我自己的测试环...

2012-03-22 10:20:12 95

原创 svn trunk branch tag

简而言之 trunk就是开发中的代码主干branch是从主干上产生的分支版本，可以和主干独立，并行继续开发tag作为里程碑标记，一般只读，不再继续修改略详细的如下：http://developer.51cto.com/art/201005/201718.htm在实现上，branch和tag，对于svn都是使用copy实现的，所以他们在默认的权限上和一般的目录没有区别。至...

2012-03-12 14:44:57 103

原创 python 细碎内容

http://www.coder4.com/archives/2239[code="python"]#设a为字符串import timea = "2011-09-28 10:00:00"#中间过程，一般都需要将字符串转化为时间数组time.strptime(a,'%Y-%m-%d %H:%M:%S')>>time.struct_time(tm_year=2011, ...

2012-03-11 10:27:39 201

pat-1022 Digital Library

可能的查询 ID值进行map映射以下代码有问题，原因是ID是整形保存，会忽略前面的0[code="c++"]#includeusing namespace std;#include#include#include#include#includeint main(){ int N; map m; int ID; int...

2012-02-27 14:26:56 86

pat-1016 Phone Bills

Sample Input:10 10 10 10 10 10 20 20 20 15 15 15 15 15 15 15 20 30 20 15 15 10 10 1010CYLL 01:01:06:01 on-lineCYLL 01:28:16:05 off-lineCYJJ 01:01:07:00 off-lineCYLL 01:01:08:03 off-lineC...

2012-02-27 00:01:11 156

pat-1018 Public Bike Management 有问题

最后一个case还过不了 ==为什么呢思路dfs遍历到目标的所有路径找最短，运送最少，带回最少的路径[code="c++"]#include #include #includeusing namespace std;#define MAXV 501#define INFINITE 1000000000int mindis = INFINITE...

2012-02-26 19:55:45 97

pat-1017* Queueing at Bank

银行8点至17点开有固定窗口数来早了要等，没窗口要等，17点后才来就无视求平均等待时间，被无视的不统计注意不是17点一定关门，只要是17点前来的都要服务，即使可能超时下面代码完全模拟秒数，先排序顾客，滤掉17点后来的对于每一秒，检查窗口的情况总体思路是以时间为中心[code="c++"]#includeusing namespace std;...

2012-02-25 12:32:43 89

pat-1021* Deepest Root

判断图是否都连接构成树，求使树高最大的根实际上求图上两点间最大距离先用并查集判断共有几个部分bfs求距离先任取一点开始bfs，得到最远的叶节点以此叶节点再bfs可得[code="c++"]#includeusing namespace std;#include#include#include#include#include#i...

2012-02-25 00:36:00 93

pat-1020* Tree Traversals

给后序和中序遍历求层序遍历Sample Input:72 3 1 5 7 6 41 2 3 4 5 6 7Sample Output:4 1 6 3 5 7 2注意如果是按char型处理，还要考虑多字符情况如12在输入上要加以处理，用int比较简单[code="c++"]#include "stdio.h"#include "stdlib...

2012-02-23 15:20:15 100

原创 pat-1019 General Palindromic Number

判断数字在给定进制下是否回文并打出进制转换后系数思路，将所有系数存起来处理[code="c++"]#includeusing namespace std;#include#includeint main(){ vector v; vector rv; int num; int base; cin>>num; cin>>...

2012-02-23 00:26:35 78

pat-1024 Palindromic Number

如果不是回文则进行逆序相加操作，打印出最后回文和操作次数题目中说数字可达到10的10次方迭代可100次则每次相加次数可能因进位多一位，longlong型只能19位可能不够实现重点，字符串相加注意求进位时也要带上carry以下代码数值型会溢出[code="c++"]#includeusing namespace std;long long ...

2012-02-20 00:56:42 117

pat-1025 PAT Ranking

不同地点一起排序先组内排序，再全局排序将小组添加进全局vector拼接globallist.insert(globallist.end(),locallist.begin(),locallist.end()); [code="c++"]#includeusing namespace std;#include#include#include...

2012-02-19 15:45:07 80

pat-1023 Have Fun with Numbers

判断一个数乘2后是否是原数的一个排列思路：int最大值 2147483647 10位longlong 最大值 9223372036854775807 19位不满足题目20位故不能数值型只能字符串处理考虑乘积后进位问题排列的判断用二进制移位求和即可，和值相等即为排列。 [code="c++"]#includeusing namespa...

2012-02-19 00:26:55 106

读代码-BayesFileFormatter

用到：文件读写,文件夹下遍历文件处理package org.apache.mahout.classifier;public final class BayesFileFormatter提供了两个处理方式将文件夹下所有文件处理后写入单一文档，和文件分别写入文档单文档[code="java"] public static void collapse(Stri...

2012-02-03 22:51:26 68

读代码-MinHashDriver及相关

用到：泛型类 counter 哈希实现package org.apache.mahout.clustering.minhash;public final class MinHashDriver extends AbstractJob输入Sequence格式输出根据debug模式可选向量和文本格式，文件可以Sequence和Text格式[code="java"]...

2012-01-26 14:17:41 122

ToolRunner机制

定义框架接口由具体实现类实现[code="java"]public interface Tool extends Configurable { int run(String [] args) throws Exception;}[/code]ToolRunner同一的入口调用按配置解析参数，调用接口方法[code="java"] public...

2012-01-26 11:57:55 138

strlen 注意

没初始化的字符数组就不要strlen否则会在内存中一直找到0以下代码会悲剧[code="c++"]str[100];memset(str,0,strlen(str));[/code]strlen返回时无符号，不要进行运算一旦负值就会悲剧[code="c++"]if(strlen("123")-5...

2011-12-03 21:47:00 108

文件统计

wc 命令 -c, --bytes print the byte counts -m, --chars print the character counts -l, --lines print the newline counts -L, --max-line-length print the leng...

2011-12-02 12:11:41 82

读代码-Pattern和FrequentPatternMaxHeap

package org.apache.mahout.fpm.pfpgrowth.fpgrowth;public class Pattern implements Comparable pattern封装了一组item，每个item的support值，整体的support值[code="java"] private int[] pattern; private...

2011-12-01 19:52:23 143

hashcode 重写

一般hashcode重写都采用了31作为因子如以下源码[code="java"] @Override public int hashCode() { if (!dirty) { return hashCode; } int result = Arrays.hashCode(pattern); result = 31 * ...

2011-12-01 16:43:32 94

原创读代码-TopKStringPatterns

package org.apache.mahout.fpm.pfpgrowth.convertors.string;public final class TopKStringPatterns implements Writable 用于存储pattern,进行merge找到top k的pattern核心，pair链表，每个pair由pattern构成的string链表和long...

2011-11-24 14:25:18 100

代码片段~

小记遇见过的代码小片段[b]符号分隔拼接字符串[/b][code="java"] @Override public String toString() { StringBuilder sb = new StringBuilder(); String sep = ""; for (Pair pattern : frequentPatterns) ...

2011-11-24 13:44:24 137

mutable 关键字

mutable 意为可变和 const 语义相反。声明为mutable的变量可以不受const的影响，保持可变性。在类中为了保持类成员不变，成员函数用const修饰但如果需要一个标记变量记录状态，则需要加mutable修饰，这样的变量就好像与类状态无关。...

2011-11-18 15:32:11 67

读代码-TrainClassifier和TestClassifier

package org.apache.mahout.classifier.bayes;public final class TrainClassifierbayes和cbyes的入口类两个分支[code="java"] public static void trainNaiveBayes(Path dir, Path outputDir, BayesParameters ...

2011-11-17 19:44:16 246

shell 内部命令和外部命令

(builtin)内部命令是shell解释程序内建的，有shell直接执行，不需要派生新的进程。("external command" or "disk command")外部命令是二进制可执行文件，需要由磁盘装入内存执行。会派生新的进程，shell解释程序会调用fork自身的一个拷贝，然后用exec系列函数来执行外部命令，然后外部命令就取代了先前fork的子shell。...

2011-11-17 15:18:12 220

shell 特殊变量

[linest@036194.sqa.cm4]$ sh test.sh a b c d e$0 return shell nametest.sh$n return nth parameterc$* return all parametersa b c d e$# return the number of parameters5$$ return current ...

2011-11-17 14:58:24 84

读代码-RandomSeedGenerator

package org.apache.mahout.clustering.kmeans;public final class RandomSeedGenerator 完成中心点随机取样的过程hdfs操作,比较普遍,先删除再新建[code="java"] FileSystem fs = FileSystem.get(output.toUri(), conf); ...

2011-11-04 17:01:35 306

时间获取

常用date参数备查上下午 %p locale's equivalent of either AM or PM; blank if not known %P like %p, but lower case月、星期 %a locale's abbreviated weekday name (e.g., Sun) %A locale's ful...

2011-11-04 13:22:41 75

原创查看字符ascii值

2011-11-01 17:16:34 260

原创读代码-VectorWritable

package org.apache.mahout.math;public final class VectorWritable extends Configured implements Writable VectorWritable 类包裹了Vector,提供了读写能力private Vector vector;private boolean writesLaxPrecis...

2011-11-01 11:04:19 142

原创读代码-KMeansDriver

package org.apache.mahout.clustering.kmeans;public class KMeansDriver extends AbstractJob kmeans的入口KMeansDriver类run函数中buildClusters,clusterData[code="java"] Path clustersOut = buildCl...

2011-10-31 11:14:34 119

原创读代码-SequenceFilesFromDirectory

[color=olive]package org.apache.mahout.text;[/color]目的:目录下文本文件转成sequence格式main函数入口SequenceFilesFromDirectory类三个基本项,fs writer 和 filter[code="java"]FileSystem fs = FileSystem.get(conf);Ch...

2011-10-27 20:53:13 98

读代码-InputMapper

package org.apache.mahout.clustering.conversion;目的：读取输入转换成vector输出[code="java"]private static final Pattern SPACE = Pattern.compile(" ");private Constructor constructor;[/code]用反射加载vec...

2011-10-27 16:46:29 225

原创文档格式

最近用在windows下编写的python脚本进行linux下hive streaming时会报错。文件格式导致诡异错误。在vi下 set ff? 看是否显示为dos如果是dos说明是windows环境下的执行set ff=unix 修改...

2011-10-25 18:28:44 72

原创诡异的溢出利用

不用加减运算符实现输入x输出x-1利用两次溢出，溢出后为0跳出循环。[code="c++"]int f(int x){ int tmp = 1; int res = 0; for(int i=x; i ; ++i) tmp++; for(int i = tmp; i ; ++i) res++; return res;}int ma...

2011-10-23 10:42:23 89

空空如也

空空如也