wind520-CSDN博客

原创 Spark 1.2 Standalone Mode 单机安装

1：spark下载，解压[jifeng@jifeng01 hadoop]$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop1.tgz--2015-02-03 21:50:25-- http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop1.tgz

2015-02-03 22:24:16 8043

原创关系型数据库的历史

数据库的历史 OracleMSSQL ServerMySQLDB2PostgreSQL 1979V2汇编前身Unireg

2015-01-23 23:27:06 1673

原创 JDK1.1 JDK1.2 JDK1.3 JDK1.4 JDK1.5 JDK1.6 JDK1.7

JDK历史版本下载 http://www.oracle.com/technetwork/java/archive-139210.html

2015-01-23 15:24:45 3646 2

转载 H2数据库攻略

H2是一个开源的嵌入式数据库引擎，采用java语言编写，不受平台的限制，同时H2提供了一个十分方便的web控制台用于操作和管理数据库内容。H2还提供兼容模式，可以兼容一些主流的数据库，因此采用H2作为开发期的数据库非常方便。一、引入Maven依赖在maven中定义H2数据库的版本属性 1.3.172 ataNode对象 }

2015-01-21 23:13:56 5629

转载深入理解Oracle表(5)：三大表连接方式详解之Hash Join的定义，原理，算法，成本，模式和位图

Hash Join只能用于相等连接，且只能在CBO优化器模式下。相对于nested loop join，hash join更适合处理大型结果集 Hash Join的执行计划第1个是hash表(build table)，第2个探查表(probe table)，一般不叫内外表，nested loop才有内外表 Hash表也就是所谓的内表，探查表所谓的外表

2015-01-20 10:05:55 1684

转载海量数据 - join处理

本周我们进入join的处理环节，其实在一开始学“连接”这个概念的时候，我感觉最晕菜的事儿是个类Join的区别。left join 、right join 、outer join、inner join 、cross join 。看起来好晕。依照惯例，我主要还是希望从原理的角度来介绍一下join的主要处理方式，这篇只会讲单机处理方式，多机模式我们会在之后的分布式章节进行介绍。先是场景

2015-01-20 09:53:23 2220

转载 Mongodb启动命令mongod参数说明

Mongodb启动命令mongod参数说明mongod的主要参数有：基本配置----------------------------------------------------------------------------------quiet# 安静输出--port arg# 指定服务端口号，默认端口27017-

2015-01-13 16:20:12 755

转载 MongoDB架构图解

MongoDB架构图解本文图片来自Ricky Ho的博文MongoDB构架（MongoDB Architecture），这是个一听就感觉很宽泛的话题，但是作者在文章中确实对MongoDB由内至外的架构进行了剖析。本文截取了其文章中的几张重点架构示意图片进行简单描述。希望对大家有用。MongoDB数据文件内部结构MongoDB在数据存储上按命名空间来划分，

2015-01-08 10:14:37 2538

原创 SQL解析器的性能测试

对同一个sql语句，使用3种解析器解析出ast语法树（这是编译原理上的说法，在sql解析式可能就是解析器自定义的statement类型），执行1100万次的时间对比。

2014-12-23 21:03:03 8934 1

原创 MongoDB shell 操作

A：连接命令E:\MongoDB\mongodb_64\bin>mongo --helpMongoDB shell version: 2.4.6usage: mongo [options] [db address] [file names (ending in .js)]db address can be: foo foo database on

2014-12-20 17:49:27 2710 1

原创 redmine

select * from issues where id in(425,427,431,434,441,556,446, 456,460,461,462,463, 474,477,481,492,501,503,505,508,509,510,512,514,516,518,519)update issues set start_date=DATE_ADD(start_date,IN

2014-12-19 09:57:00 796

转载基于openfire+smack的Android、消息推送服务

前言Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。Openfire 是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.8.1版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。即时通信客户端可使用spark2.6.3,这个版本是目前最新的release版本，经过测试发现上一版本在视

2014-12-05 13:48:11 10772 4

原创基于Solr的HBase多条件查询测试

背景：某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证。原理：基于Solr的HBase多条件查询原理很简单，

2014-12-05 13:44:56 997 1

转载每个Java开发者都应该知道的5个JDK工具

摘要：有许许多多的JDK工具呈现在大家面前，但最常用的莫过于java.exe、javac.exe、jar等。除了这几个，还有哪些呢？大家不妨看看本文作者推荐的5个JDK工具。【编者按】JDK是Java语言的软件开发工具包，没有它就无法编译Java程序。目前，有许许多多的JDK工具呈现在大家面前，但最常用的莫过于java.exe、javac.exe、jar等。除了这几个，还有哪些呢？本文

2014-11-21 12:42:51 816

原创 Ubuntu 安装 redmine

Ubuntu 用ruby-rvm

2014-11-19 22:39:17 3139

原创 Ubuntu创建用户命令

root@ubuntu100:/home# sudo adduser jifengAdding user `jifeng' ...Adding new group `jifeng' (1004) ...Adding new user `jifeng' (1002) with group `jifeng' ...Creating home directory `/home/jifeng' .

2014-11-19 16:22:52 1442

原创 centos 安装 redmine 2.6.0.stable

必须用root安装1、安装RVM，RVM用于安装ruby[root@jifeng03 ~]# rvm -v-bash: rvm: command not found[root@jifeng03 ~]# curl -L https://get.rvm.io | bash -s stable

2014-11-19 11:31:07 6057

转载关闭防火墙命令 & 500 OOPS: cannot change directory:

两种方法解决：1、setsebool -P ftp_home_dir on 之后再运service vsftpd restart或 setsebool -P ftpd_disable_trans on 之后再运service vsftpd restart 也行2、关闭selinux修改/etc/selinux/config文件或/etc/syscof

2014-10-30 16:41:27 1255

是Apache最新开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些

2014-10-30 16:08:43 7504

原创 centos 安装 telnet

用root用户安装

2014-10-20 14:22:00 2143

原创安装flume1.5

1：下载wget http://mirrors.hust.edu.cn/apache/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz

2014-10-20 11:29:30 5106 1

原创 centos安装Hue 3.7.0

Hue 是运营和开发Hadoop应用的图形化用户界面。Hue程序被整合到一个类似桌面的环境，以web程序的形式发布，对于单独的用户来说不需要额外的安装。

2014-10-18 23:02:00 7091 4

转载高并发单例模式

如果在高并发时候，使用这种单例模式 publci class Singleton{ private static Singleton instance = null; private Singleton(){} public static Singleton getInstance(){ if(instance == n

2014-10-18 22:05:57 1173

原创 centos安装Ambari

参考：https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.1+from+Public+Repositories

2014-10-17 23:45:40 14987 2

原创 SSL certificate problem, verify that the CA cert is OK. Details:

使用 git 出现SSL certificate problem, verify that the CA cert is OK. Details:[jifeng@jifeng04 git]$ git clone http://github.com/cloudera/hue.git正克隆到 'hue'...fatal: unable to access 'https://github.com

2014-10-17 22:17:25 3217

原创 redhat编译安装git

1：下载 https://www.kernel.org/pub/software/scm/git/git-1.9.4.tar.gz2：tar

2014-10-17 21:56:20 5492

转载 Redis经验谈

新浪作为全世界最大的Redis用户，在开发和运维方面有非常多的经验。本文作者来自新浪，希望能为业界提供一些亲身经历，让大家少走弯路。使用初衷从2010年上半年起，我们就开始尝试使用Redis，主要出于以下几方面的考虑。性能比MySQL好。因为业务的发展对性能的需求越来越强烈。丰富的数据类型。在速度就是市场的互联网时代，快速开发是一个不变的需求。Cache宕机让人纠结，R

2014-10-16 15:16:22 868

转载一致性hash算法使用

一、概述 1、我们的memcache客户端（这里我看的spymemcache的源码），使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同，只是对我们要存储数据的key进行hash计算，分配到不同节点存储。一致性hash算法是对我们要存储数据的服务器进行hash计算，进而确认每个key的存储位置。 2、常规hash算法的应用以及其弊端

2014-10-16 10:24:18 982

原创 hive.ql.exec.DDLTask. MetaException(message:java.io.IOException: Attempt to start meta tracker faile

hive> CREATE TABLE hbase_table_1(key int, value string) > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") >

2014-10-08 13:30:29 5593

原创 MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

Hive和HBase整合

2014-10-08 11:11:35 13058 1

原创 Hive 0.13.1 和HBase 0.98.6.1整合

1：安装hadoop和HBase2：安装

2014-10-07 22:53:03 5193 1

原创 Hadoop 2.4.1+HBase 0.98.6.1 分布式安装

1:先配置Hadoop2.4.1的集群环境参考：

2014-10-07 18:22:30 9114 4

原创 Elasticsearch学习

[jifeng@jifeng03 ~]$ curl 'http://jifeng04:9200/?pretty'{ "status" : 200, "name" : "Calypso", "version" : { "number" : "1.1.1", "build_hash" : "f1585f096d3f3985e73456debdc1a0745f512bbc"

2014-09-24 16:26:43 4114 1

原创 CentOS 卸载OpenJdk和Tomcat开机启动

1:查看java[zhoujifeng@gz1-cdc-01 ~]$ java -versionjava version "1.7.0_45"OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)

2014-09-23 18:56:42 2715

转载十道海量数据处理面试题与十个方法大总结

海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。有任何问题，欢迎随时交流、指正。出处：http://blog.csdn.net/v_JULY_v。第一部分、十道海量数据处理面试题1、海量日志数据

2014-09-21 21:47:20 763

原创 mahout贝叶斯分类器测试样例

MAHOUT 0.9版本的贝叶斯分类器测试样例测试非常简单，执行下面这条语句，然后选择第2项就OK了。[jifeng@jifeng01 hadoop]$ $MAHOUT_HOME/examples/bin/classify-20newsgroups.shPlease select a number to choose the corresponding task to run1. cn

2014-09-20 16:08:12 2612

原创开源项目托管GitHub简单使用

1：https://github.com/注册账户2：安装git

2014-09-20 11:31:21 833

转载 mysql中间件研究（Atlas，cobar，TDDL）

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。AtlasAtlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项

2014-09-18 23:03:15 2403

转载 Mysql在大型网站的应用架构演变

本文主要描述在网站的不同的并发访问量级下，Mysql架构的演变。可扩展性架构的可扩展性往往和并发是息息相关，没有并发的增长，也就没有必要做高可扩展性的架构，这里对可扩展性进行简单介绍一下，常用的扩展手段有以下两种：Scale-up：纵向扩展，通过替换为更好的机器和资源来实现伸缩，提升服务能力Scale-out：横向扩展, 通过加节点（机器）来实现伸缩，提升服务能力

2014-09-18 22:33:29 891

转载 Hadoop计算中的Shuffle过程

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽

2014-09-18 22:23:46 1208

hadoop native

hadoop 64位编译后的成果，native目录 libhadoop.a libhadoop.so libhadoop.so.1.0.0 libhadooppipes.a libhadooputils.a libhdfs.a libhdfs.so libhdfs.so.0.0.0

2014-08-03

hadoop-2.4.1-src

hadoop-2.4.1-src代码，编译必备

2014-08-01

apache-ant-1.9.4

apache-ant-1.9.4，hadoop-2.4.1编译需要

2014-08-01

protobuf-2.5.0.tar.gz

protobuf-2.5.0.tar.gz ,编译hadoop2.4.1需要的

2014-08-01

openerp-7.0

OpenERP是欧洲开发的一款开源ERP软件，OpenERP发展的初衷是为了提供SAP、Microsoft Dynamics等商业ERP软件的开源替代产品。它使用Python语言开发，数据库采用开源的PostgreSQL，系统以GNU GPL开源协议发布。 OpenERP作为跨平台的应用系统，支持在Windows、Linux等多种操作系统上运行，还支持通过Andriod、iPhone等手机移动终端接入访问

2014-07-30

postgresql-9.1.14-1-1

PostgreSQL主要优势：　　1. PostgreSQL完全免费，而且是BSD协议，如果你把PostgreSQL改一改，然后再拿去卖钱，也没有人管你，这一点很重要，这表明了PostgreSQL数据库不会被其它公司控制。oracle数据库不用说了，是商业数据库，不开放。而MySQL数据库虽然是开源的，但现在随着SUN被oracle公司收购，现在基本上被oracle公司控制，其实在SUN被收购之前，MySQL中最重要的InnoDB引擎也是被oracle公司控制的，而在MySQL中很多重要的数据都是放在InnoDB引擎中的，反正我们公司都是这样的。所以如果MySQL的市场范围与oracle数据库的市场范围冲突时，oracle公司必定会牺牲MySQL，这是毫无疑问的。　　2. 与PostgreSQl配合的开源软件很多，有很多分布式集群软件，如pgpool、pgcluster、slony、plploxy等等，很容易做读写分离、负载均衡、数据水平拆分等方案，而这在MySQL下则比较困难。 3. PostgreSQL源代码写的很清晰，易读性比MySQL强太多了，怀疑MySQL的源代码被混淆过。所以很多公司都是基本PostgreSQL做二次开发的。 4. PostgreSQL在很多方面都比MySQL强，如复杂SQL的执行、存储过程、触发器、索引。同时PostgreSQL是多进程的，而MySQL是线程的，虽然并发不高时，MySQL处理速度快，但当并发高的时候，对于现在多核的单台机器上，MySQL的总体处理性能不如PostgreSQL，原因是MySQL的线程无法充分利用CPU的能力。

2014-07-30

ImageMagick

ImageMagick是一套功能强大、稳定而且开源的工具集和开发包，可以用来读、写和处理超过89种基本格式的图片文件，包括流行的TIFF、JPEG、GIF、 PNG、PDF以及PhotoCD等格式。利用ImageMagick，你可以根据web应用程序的需要动态生成图片, 还可以对一个（或一组）图片进行改变大小、旋转、锐化、减色或增加特效等操作，并将操作的结果以相同格式或其它格式保存，对图片的操作，即可以通过命令行进行，也可以用C/C++、Perl、Java、PHP、Python或Ruby编程来完成。同时ImageMagick提供了一个高质量的2D工具包，部分支持SVG。现在，ImageMagi

2014-02-17

railsinstaller-2.2.1

redmine的运行环境rails,ruby

2014-02-17

rmagick-2.13.1-x86-mingw32.gem

redmine的一个包文件，可以用来导出为pdf，图像的功能

2014-02-17

redmine-2.4.3

目前最新版，Redmine是用Ruby开发的基于web的项目管理软件，是用ROR框架开发的一套跨平台项目管理系统，据说是源于Basecamp的ror版而来，支持多种数据库，有不少自己独特的功能，例如提供wiki、新闻台等，还可以集成其他版本管理系统和BUG跟踪系统，例如Perforce、SVN、CVS、TD等等。这种 Web 形式的项目管理系统通过“项目（Project）”的形式把成员、任务（问题）、文档、讨论以及各种形式的资源组织在一起，大家参与更新任务、文档等内容来推动项目的进度，同时系统利用时间线索和各种动态的报表形式来自动给成员汇报项目进度。

2014-02-14

redmine-1.3.3

redmine1.3.3版本，非常好用的项目管理工具

2014-02-14

rubyinstaller-1.8.7-p358

ruby1.8.7安装包，安装redmine1.3.x需要的环境支撑

2014-02-14

subclipse-1.8.22

Subclipse 1.8.x includes and requires Subversion 1.7.x client features and working copy format.

2013-09-04

hadoop-eclipse-plugin-1.1.2

hadoop-eclipse-plugin-1.1.2.jar

2013-07-19

eclipse3.6+hadoop-0.21.0插件配置使用

2013-07-03

hadoop-1.1.2 源代码

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

2013-07-03

hadoop-1.1.2.tar

hadoop稳定版本-1.1.2 Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据

2013-07-03

jackson-all-1.9.11.jar

Spring MVC 3.0 返回JSON数据用到的库

2013-06-30

druid-0.2.20

druid-0.2.20.jar Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池，在功能、性能、扩展性方面，都超过其他数据库连接池，包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。 Druid已经在阿里巴巴部署了超过600个应用，经过一年多生产环境大规模部署的严苛考验。同时Druid不仅仅是一个数据库连接池，它包括四个部分： Druid是一个JDBC组件，它包括三个部分：基于Filter－Chain模式的插件体系。 DruidDataSource 高效可管理的数据库连接池。 SQLParser

2013-06-29

ActivePerl-5.6.1.635-MSWin32-x86.msi

Symbian OS S60开发必备 ActivePerl-5.6.1.635-MSWin32-x86.msi

2010-01-19

mp3play 用Dx实现的mp3播放和lrc歌词显示

mp3play 用Dx实现的mp3播放和lrc歌词显示等

2009-01-08

AutoCHM：CHM生成和还原Html工具

2009-01-08

QuickServer1.4.7.exe

java开源通讯包，QuickServer1.4.7.exe

2008-08-29

slf4j-1.4.3 log日志包

slf4j-1.4.3 java开源log日志包

2008-08-29

mina-1.1.7.zip

java开源通讯包mina-1.1.7.zip

2008-08-29

xscocket2.1

java开源通讯包xscocket2.1

2008-08-29

java ,c#,delphi 解决flash安全沙箱问题

java ,c#,delphi 解决flash安全沙箱问题聊天室

2008-08-28

四人麻将游戏j2me开发

四人麻将游戏j2me开发 nokia s40 手机测试通过

2008-08-26

用Socket 打造跨语言跨操作系统的网络MORPG游戏

Flex 客户端代码 FLEX3 开发 DelphiServer Delphi6 开发的服务端 Server java 开发的服务端 CServer C# 开发的服务端

2008-08-03

FLEX+Delphi,FLEX+Java，FLEX+C# 的聊天室

客户端说明 chat.mxml socket.connect("127.0.0.1",8888); 设置服务端IP和端口 ----------------------------- chat 客户端代码 FLEX3 开发 ChatServer Delphi6 开发的服务端 Server java 开发的服务端 WindowsApplication1 C# 开发的服务端 其实可以做到FLEX+Delphi,FLEX+Java,FLEX+C#,FLEX+C++ 把swf放到网站上去，会出现安全沙箱问题没有解决，如果你解决了请告诉我(email:feng0904@163.com)，谢谢

2008-07-18

FLEX+Delphi,FLEX+Java 的聊天室

chat 客户端代码 FLEX3 开发 ChatServer Delphi6 开发的服务端 Server java 开发的服务端 其实可以做到FLEX+Delphi,FLEX+Java,FLEX+C#,FLEX+C++ 把swf放到网站上去，会出现安全沙箱问题没有解决，如果你解决了请告诉我(季风,email:feng0904@163.com)，谢谢

2008-07-18

中国诗词风

中国诗词风介绍：中国诗词是泛指中华文化中的“诗、词、曲、歌、赋”。本软件收集了中国历代“诗、词、曲、歌、赋”等各类优秀作品共约5202首，在浩瀚的中华历史文化中，这仅仅是沧海一粟。软件收集的诗词歌赋及注释简析、以及诗词作者生平简介上，摘录、全部来自网上。所有收录的诗词曲歌赋作品的版权，均归原著作权人所有。若您发现本软件里收录的作品侵犯了您的版权，请您e-mail告知，我们会及时删除相关作品。使用： 1：查找：首先选择--查找方案1或查找方案2；然后 1)查找方案1，输入作者名或作者的作品,你也可以只输入作者名或作者作品的一个或者几个连续的字，然后看你是否需要作者名或作者的作品同时存在，最后点确定就OK了。 2)查找方案2：输入作品中的一句或二句诗词,你也可以只输入一句或二句诗词中的一个或者几个连续的字.如你只记得一首诗中的（故人西辞黄鹤楼，烟花三月下扬州）？？？黄鹤楼，？？？下扬州，你就可以在诗词句子的第一个空填黄鹤楼，第二个空填下扬州，然后看你是否需要作者名或作者的作品同时存在，最后点确定就OK了，你也可以只在诗词句子的第一个空填黄鹤楼，也可以的，然后再点确定。 2：添加诗词，点添加诗词后，你可以在显示诗词和显示注释的编辑框中添加诗词，注释，然后点添加诗词这个按钮（这时它已变成保存诗词了），填好朝代，作者，作品名再点确定。 3：修改诗词，点修改诗词后，你可以在显示诗词和显示注释的编辑框中修改诗词，注释，然后点修改诗词这个按钮（这时它已变成保存诗词了），填好朝代，作者，作品名再点确定。 4：你添加的诗词要是在树形列表中没有相对应的作者，你必须添加作者信息（诗词---添加作者信息），在你下次使用本软件时，你会在树形列表中看到添加的作者。谢谢你使用本软件。作者主页：http://cn.geocities.com/jifeng1028/ http://520abc520.51.net E-mail:feng0904@163.com

2006-03-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人