- 博客(30)
- 收藏
- 关注
RSS订阅原创 Hadoop之K-Means聚类算法
在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下：输入：参数0--存储样本数据的文本文件inputfile； 参数1--存储样本数据的SequenceFile文件inputPath；参数2--存储质心数据的SequenceFile文件centerPath； 参数3--存储聚类结果文件(SequenceFile文件)所处的路
2015-02-23 18:17:43
3139
1
原创 大数据处理之道 （MATLAB 篇）
一：起因（1）最近一直在处理大数据，从MB ----> GB的变化，是一次质的飞跃，相应的工具也在变 从widows到linux，从单机单核 到 hadoop多节点的计算（2）问题来了，面对海量的数据，如何从中挖掘实用的信息或者发现潜在的现象，可视化工具可能是必不可少的 ；（3）可视化工具可以说百度一大篇，可是作为研究者的我们，程序猿的我们可能更希望能够抽象出一种数学模型，对现实的现象
2014-12-19 23:17:39
935
原创 c 语言里 类型转换那些事儿
一： 起因（1）最近接触了类型转换，例如有符号数转化为无符号数 ---- int 转化为 unsigned int类型，莫要想当然的转化；（2）弥补一下自己当初学习计算机组成原理时，原码、反码、补码就比较容易混淆的概念；（3）double类型的如何判断某一个参数是否为零，直接 == 0.0,，貌似可以 ---- 确实有时可以，但是有时却不可以，这是为什么？（4）知识补充：在int
2014-12-19 23:16:25
487
原创 c++ fstream + string 处理大数据
一：起因（1）之前处理文本数据时，各种清洗数据用的都是java的File,FileReader/FileWriter,BufferedReader/BufferedWriter等类，详见java读写文件（2）应用java的原因是java里面的map非常灵活，eclipse编译器更是给力，而且ctrl 可以追踪函数 等，详见java map的排序（3）应用java的另一个原因是java里
2014-12-19 23:15:16
495
原创 分布式搜索elasticsearch几个概念解析
介绍下es的几个概念：cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。shards 代表索引分片，es可以
2014-11-05 21:57:11
276
原创 Mongodb与spring集成（4）------读写mongo GridFs中的文件
mongodb里面自带有一个分布式文件系统gridFs，它是以块的方式来存储文件的，一般的存储都够用了，国内一个使用例子是视觉中国使用它来进行上亿数据级的图片存储，可以看出这套文件系统还是挺强大的。下面介绍下如何用spring-data-mongodb来对其进行操作，其实spring-data-mongodb并没有对gridfs进行再次封装，我们只能自己根据需要简单封装下接口，mongodb ja
2014-11-05 21:56:05
340
原创 分布式搜索elasticsearch单机与服务器环境搭建
先到http://www.elasticsearch.org/download/下载最新版的elasticsearch运行包，本文写时最新的是0.19.1，作者是个很勤快的人，es的更新很频繁，bug修复得很快。下载完解开有三个包:bin是运行的脚本，config是设置文件，lib是放依赖的包。如果你要装插件的话就要多新建一个plugins的文件夹，把插件放到这个文件夹中。1.单机环境：
2014-11-05 21:55:55
306
原创 分布式搜索elasticsearch java API 之（一）------与集群交互
这是关于elasticsearch java api的第一篇教程，陆续会把es的一些心得写出来。可以通过两种方式来连接到elasticsearch（简称es）集群，第一种是通过在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。Node方式创建嵌入节点的方式如下：
2014-11-05 21:55:35
307
原创 分布式搜索方案选型之四：Solr+Katta
一个叫katta的开源项目进入我的视线，它是一个分布式索引建立和管理工具，底层是hadoop的hdfs分布式文件系统，hadoop是当今云计算的热门使用项目，由apatch开源是一个海量数据的处理和存储方案，它的主要核心就是它的hdfs分布式文件存储系统和mapreduce算法，它们分别是google论文中的gfs和mapreduce的开源实现。目前大公司的云计算平台基本上都是基于它来搭建的。因为
2014-11-05 21:54:24
448
原创 分布式搜索方案选型之三：SolrCloud
逛solr官网时无意发现了solrCloud这个开源项目，即solr云或叫分布式solr。它是基于solr的，使用zookeeper作为节点之间通信管理，它具有solr的所有特征，并提供索引分片的功能，不过这是要自己在配置文件中配置分片信息的。它好的地方是它是个实时的搜索引擎，即将推出的lucene4.0将实现实时搜索，而solrCloud就是基于开发中的lucene4.0的，目前solrClou
2014-11-05 21:53:57
303
原创 分布式搜索方案选型之二：Solandra
我在学校项目实践时使用过solandra，它是一个基于solr和nosql数据库cassandra的分布式搜索引擎。cassandra是由facebook开源的nosql数据库，facebook的信箱搜索就是基于它实现的，它是基于列结构的，不同与关系数据库。它的数学模型基于google的bigtable和Amazon的Dynamo，它的一个重要特性是没有对外没有中心节点，所以不会存在单点故障的问题
2014-11-05 21:53:28
295
原创 分布式搜索方案选型之一：Solr
我第一个了解到的分布式搜索框架是solr,它是由java开发的，基于lucene的分布式搜索引擎，提供了类似于webserver的编程接口，是一个比较成熟的搜索引擎，目前很多公司都在使用。很快我就部署了一个由4台机器组成的solr集群，开始导公司的数据进去测试，导的数据为200万。导入速度非常快。接下来就开始测试查询效率，发现它是有缓存的，第一次查询的时间基本上在80～150毫秒之间，第二次查由于
2014-11-05 21:52:43
317
原创 分布式搜索方案选型之五（终篇）：Elasticsearch
最后发现了elasticsearch这个分布式搜索框架，我一看它的介绍就觉得，就是它了。它基本上所有我想要的特性都包含了，分布式搜索，分布式索引，零配置，自动分片，索引自动负载，自动发现，restful风格接口。于是就开始使用，部署了四台机器，并把索引导了进去，我设置的分片为3，即把索引分成三片，副本为2，即有两份完整的索引。 通过它的管理工具可以很清晰的看到它索引分布的情况：哪块分
2014-11-05 21:52:10
323
原创 spring缓存集成memcache
spring3.1.0开始支持注解方式的缓存实现，非常方便，不过它目前只支持java内置的ConcurrentMap和ehcache这两种缓存方式，因为项目用到memcache，就想把memcache集成到spring内置的缓存中，使memcache也能用注解方式来调用。于是参考ehcache的集成方式，把memcache集成到项目中。spring把所有缓存都抽象为一个cache，相当于一个缓存集
2014-11-05 21:51:31
309
原创 Android JNI使用方法（“动态注册”）
此例示范了不适用JNI默认的接口绑定规则来实现C/C++方法的调用，此处称之为“动态注册”。转自：http://www.open-open.com/lib/view/open1324909652374.html经过几天的努力终于搞定了android JNI部分，下面将我的这个小程序和大家分享一下。android JNI是连接android Java部分和C/C++部
2014-10-13 19:57:25
395
原创 承诺，项目管理中的大杀器
如何保证项目进度按照计划进行是每个项目经理工作的重点。每个项目经理的方法和手段各不一样。今天我和大家介绍一下我经常使用的一种方式，承诺。具体意思是指，让整个项目的干系人进行相应的承诺，从而保证项目向良好方向发展。可能有人会说，承诺有什么用？制度、奖惩措施这些才是王道。其实不然，下面咱们就以Scrum为例聊聊如何利用承诺保证项目进展。敏捷开发方法Scrum中比较中重要的几个活动有计划会、每日
2014-10-13 19:56:57
242
原创 YUV RGB 转换
在网上看到一个开源项目的代码，写的非常整洁，易懂，特此记录下来，网址忘了，还望见谅！！[cpp] view plaincopyprint?"font-size: 14px;">#include #include #define ALIGN_2K(x) ((x + 2047) & ~ 2047) struct Buffer { voi
2014-10-13 19:56:22
325
原创 RGB565 与 RGB888的相互转换
本文内容不是完全原创，参考了网上部分精华，做了整理。RGB色彩模式（也翻译为“红绿蓝”，比较少用）是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。就
2014-10-13 19:55:54
1615
原创 《世界如此险恶，你要内心强大》读书笔记（五）
（1）男人 VS 女人 男人通过利益的获取来证明自己的高档，而女人恰恰是通过和女人，特别是熟悉或是同类的女人的对比。因此，注定会有一些女人，她们的存在本身，就会得罪另一些女人。 两个陌生男人之间所存在的敌意，远大于两个陌生女人之间。 秘密是：相互陌生的男人之间有着潜在的暴力上的威胁，而相互陌生的女人之间没有。 但是，如果彼此熟悉，甚
2014-10-13 19:52:42
337
原创 《世界如此险恶，你要内心强大》读书笔记（三）
（1）人最害怕的并不是要发生什么，而是不知道要发生什么 一个铁的心理法则是：如果一个人知道未来要发生什么，他还可以把握，可以控制，可以应对。但是，如果他不知道，对可能要发生什么没有一个预先的心理防护，他就只能被焦虑淹没。电影电视里经常有这样的镜头：A是一个警察，B是一个黑社会老大，A的兄弟被B杀了，追捕B到了一个废弃的厂房里。B躲在暗处，A在明处拿着枪东指西指，仔细搜
2014-10-13 19:51:29
503
原创 《世界如此险恶，你要内心强大》读书笔记（四）
（1）人为什么怕死 [1] 害怕死亡的痛苦 死亡代表了最难忍受的肉体和精神痛苦，而且是不可逆的，一死，就活不过来了。 [2]害怕死亡这一最终结局 死亡是对一切可能性的终结，是不可穿透的永恒的黑暗。 在茫茫宇宙中，只是在一个偶然的时间作为一粒尘埃出现。但无论自身多么渺小，在他看来，他的存在就是一个世界。如果他的存在被死亡抹去，那就
2014-10-13 19:49:59
474
转载 百度员工离职总结：如何做个好员工
2014年7月4日，我从百度离职了。这是第一次，我不是因为和老板闹翻而离职；这是第一次，我带着晋升的喜悦而离职；这是第一次，我带着满满的收获而离职。我曾经认为，我永远不会成为一个好员工，因为我太独、太挑剔、不喜欢听话的好孩子、而且讨厌一切想要改变我的人。但是三年过去，我改变了不少，我必须承认，所谓“进步”的过程，就是被认可的过程，也是被“
2014-10-13 19:48:37
269
转载 使用Tcl脚本分配FPGA管脚
自动生成Tcl文件Project -> Generate Tcl File for Project...弹出如下对话框，设置脚本路径。编辑引脚使用set_location_assignment分配管脚如下：第一次配制时，没有set_location_assignment语句，自已在set_global_assignment语句下一行添加即可。
2014-10-12 21:42:06
771
原创 数组的指针特性
从一道小题下手（该考点曾被腾讯等大公司作为基础笔试题考过），#include int size(char a[10]){ return sizeof(a);}int main(void){ char a[] = {'C','h','i','n','a','\0'}; char *p = "China"; char *q = a; prin
2014-10-12 21:41:40
250
原创 CentOS配置smaba与Windows共享文件
操作环境：CentOS 6.5 64bitLinux与Linux间通过什么共享文件呢——NFS，Windows与Windows之间呢——共享文件功能就OK了，那Windows与Linux之间呢？这就是本段要讲的东东——samba。检查是否安装samba# rmp -qa|grep samba若安装了，则会显示如下，samba4-libs-4.0.0-58.
2014-10-12 21:41:09
264
原创 金庸武侠小说之我的见解
金庸武侠小说之我的见解还记得，还在初中的时候，老师就一直对我们说：“你们这次的暑假作业就是看四大名著中的《三国演义》，写读书笔记”。对于我们这种穷苦孩子出身，没读过太多书的人来说，当时觉得《三国演义》就像是古代那种官门府邸才有的藏书。后来外公（我外公是位特别爱看古典武侠的人）送我一本，顿时对外公佩服得五体投地。当然，《三国演义》还不能算武侠，最多也只能算是古典小说。我觉得衡量一
2014-10-12 21:40:58
1409
转载 Markdown中插入数学公式的方法
自从使用Markdown以来，就开始一直使用Markdown+Github在写文章，整理自己的所学所思。本文亦是通过这种方式完成的。然而，Markdown自由书写的特性很好，唯独遇到数学公式时就要煞费苦心——每次都是先使用Latex书写(在线的Latex编辑器参考[1])，然后保存为图片，使用img标签进行引用，当公式很多的时候稍显复杂。本文的方法使用html的语法，调用[1]的公
2014-10-12 21:40:16
418
原创 三极管的电平转换及驱动电路分析
3.3V-5V电平转换电路如上图，左端接3.3V CMOS电平，可以是STM32、FPGA等的IO口，右端输出为5V电平，实现3.3V到5V电平的转换。现在来分析下各个电阻的作用（抓住的核心思路是三极管的Vbe导通时为恒定值0.7V左右）：假设没有R87，则当US_CH0的高电平直接加在三极管的BE上，>0.7V的电压要到哪里去呢？假设没有R91，当US_CH0
2014-10-12 21:39:23
1340
原创 对功率谱的一点理解
下面的matlab程序分别使用周期图法、相关函数法以及AR谱方法计算信号的功率谱。% power spectrum estimatedclear all;clc;close all;Fs=1000; % 采样频率nfft = 1024; % fft计算点数%产生含有噪声的序列n=0:1/Fs:1;xn=cos(2*pi*100*n)+3*cos(2*pi*2
2014-10-12 21:38:48
649
原创 PCB设计资料：看到最后才知道是福利
参考资料通过下面的关键词直接从网络上Google或Baidu就能很容易的找到下面的资料，这里只是以参考文献的方式做一个整理以及简单的说明。刘雅芳，张俊辉. 抗干扰角度分析六层板的布线技巧. 天津光电通信技术有限公司技术中心.介绍了六层板的布线技巧，非常实用，画多层板的强烈推荐。AN1258, "Op Amp Precision Design: PCB Layout
2014-10-12 21:37:49
771
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人