- 博客(40)
- 收藏
- 关注
RSS订阅原创 hadoop权威指南--NCDC1929-2011数据下载地址
如题：给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/
2011-08-23 11:59:15
1863
2
原创 Spring3+Jpa 配置多个数据源的解决方案（基于注解）
补充说明：不同的应用场景，解决方案也不同。例如下文的配置实例，是创建了两个事务管理器。如果项目要求必须只能存在一个事务管理，解决方案可参考：http://today.java.net/pub/a/today/2006/08/31/jotm-transactions-in-spring-and-hibernate.html----------------配置文件 ------------------
2011-07-02 19:26:35
5877
转载 HBase技术简介
<br /> <br /><br /><br />上图描述了Hadoop EcoSystem中的各层系统，其中HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。<br />此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功
2011-05-24 19:41:00
2020
原创 Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
本文重点讲解Hbase的安装、配置、问题解决关于hadoop和zookeeper的安装配置及相关问题，可以参考：hadoop：http://blog.csdn.net/FranklySun/archive/2011/05/13/6417984.aspxzookeeper：http://blog.csdn.net/FranklySun/archive/2011/05/16/6424582.aspx测试环境三系统均为 Ubuntu11.04，分别是：frank-1(主机名:即hostname)：192.168
2011-05-24 17:42:00
13403
1
原创 ZooKeeper 安装、配置
<br />如题本文介绍的是ZooKeeper 的安装和配置过程，此过程非常简单，关键是如何应用（将放在下节及相关节中介绍）。<br /> <br />单机安装、配置：<br /> <br />安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/frank/ZooKeeperInstall/zookeeper-3.3.3下。<br /> <br />配置文件存放在/conf/目录下，将zoo_sample.cfd文件名称改为zoo.cfg, 缺省的配置内容如下：<br /
2011-05-16 15:49:00
24338
转载 为什么要使用ZooKeeper
<br /><br /> 记得在大约在2006年的时候Google出了Chubby来解决分布一致性的问题(distributed consensus problem)，所有集群中的服务器通过Chubby最终选出一个Master Server ，最后这个Master Server来协调工作。简单来说其原理就是：在一个分布式系统中，有一组服务器在运行同样的程序，它们需要确定一个Value，以那个服务器提供的信息为主/为准，当这个服务器经过n/2+1的方式被选出来后，所有的机器上的Process都会被通知到这
2011-05-16 13:42:00
8223
1
转载 ZooKeeper 是什么
<br /><br />ZooKeeper 是什么？<br /> ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。<br />Z
2011-05-16 13:40:00
8926
转载 使用Java开发需要关注的那些事儿
<br /><br />原文引自：http://www.javabloger.com/article/java-development-concern-those-things.html<br /><br /> <br />近期各家IT媒体举办的业内技术大会让很多网站都在披露自己的技术内幕与同行们分享，大到facebook，百度，小到刚起步的网站。facebook，百度之类的大型网站采用的技术和超凡的处理能力的确给人耳目一新的感觉，但并不是每个网站都是像facebook，百度 有上亿的用户访问流量，有海量的
2011-05-16 10:35:00
1708
原创 Hadoop 安装、配置，以及问题的解决方法
不少新手在刚接触Hadoop时，第一次安装、配置、部署、使用等方面或多或少的遇到过一些问题。本文既是自己的一个测试总结，也是为大多数新手提供一个参考（当然，网上以及有很多相关资料）。硬件环境共有2台机器，一台(作为masters)，一台机器使用VM安装两套系统(作为slaves)，三系统均使用的Ubuntu 11.04 系统，Java使用的是jdk1.6.0_25。IP配置如下：vm网络连接方式：均为‘桥接’frank-1(主机名:即hostname)：192.168.0.100 mas
2011-05-13 17:55:00
4630
转载 什么是列存储？
<br /> 什么是列存储？列存储不同于传统的关系型数据库，其数据在表中是按行存储的，列方式所带来的重要好处之一就是，由于查询中的选择规则是通过列来定义的，因 此整个数据库是自动索引化的。按列存储每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就 更容易为这种聚集存储设计更好的压缩/解压算法。这张图讲述了传统的行存储和列存储的区别：<br />
2011-05-13 15:28:00
15795
3
转载 Hadoop的项目中包含了哪些产品？
<br />Apach 的 Hadoop的项目中包含了那些产品，如图所示：<br /> Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。<br /> Chukwa 是基于Hadoop集群中监控系统，简单来说就是一个“看门狗” (WatchDog)<br /> Hive 是DataWareHouse 和 Map Reduce交集，适用于ETL方面的工作。<br /> HBase 是一个面向列的分布式数据库。<br /> Map Reduce
2011-05-13 15:25:00
3291
转载 HBase是什么？为什么要使用HBase？
<br /> <br />HBase是什么？ <br /><br />HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：<br /><br />HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，因此可以通过web界面对HBase进行管理和查看当前运行
2011-05-13 15:23:00
10997
转载 对于HBase的理解
在说HBase之前，我想再唠叨几句。做互联网应 用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户 就变多了，结果您的系统应付不过来了了，不干了，这岂不是咱哥几个的悲哀，说时髦点就叫“杯具啊”。 其实说白了，这些就是事先没有认清楚互联网应用什么才 是最重要的。从系统架构的角度来说，互联网应用更加看重系统性能以及伸缩性，而传统企业级应用都是比较看重数据完整性和数据安全性。那么我们就来说说互联 网应用伸缩性这事儿。
2011-05-13 14:57:00
3144
1
转载 vi编辑器命令大全
<br />进入vi的命令 <br />vi filename :打开或新建文件，并将光标置于第一行首 <br />vi +n filename ：打开文件，并将光标置于第n行首 <br />vi + filename ：打开文件，并将光标置于最后一行首 <br />vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处 <br />vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复filename <br />vi filename....f
2011-05-11 17:28:00
1180
原创 ssh_exchange_identification: Connection closed by remote host 问题的解决
<br />今天，在win7下安装了Cygwin并安装了openssh, 在cygwin下配置并启动sshd，启动成功，但是（ssh localhost）连接时出现：<br /> <br />ssh_exchange_identification: Connection closed by remote host <br /> <br />试着访问 ssh 127.0.0.1 也不行，但是访问主机名可以--- ssh 主机名<br /> <br />分析：<br />在/etc/下发现一文件：hosts<b
2011-05-11 16:20:00
23890
2
转载 Facebook 网站所使用的开源软件一览表
<br /><br />Facebook 是全球首屈一指的社交网络平台，该网站采用了很多开源软件，Facebook 采用的编程语言包括：Java, Ruby, PHP, Python, Objective-C.<br />下面是 Facebook 正在使用或者贡献的开源软件详细列表和介绍：<br /><br />Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于储存特别大的数据。<br /><br />MySQL 这个不需要在介绍什么了吧，使用最为
2011-05-01 21:04:00
1472
转载 人人网使用的开源软件列表（By UGC.FM 2009年12月13日）
<br /><br />MySQL<br />关系型数据库存储系统，我们的DBA团队很强大，每人管理上百台MySQL服务器，其他就不多说了，网上资料太多了<br /> <br />Tokyo Cabinet<br />一个key-value的存储引擎，日本人开发，国内很多公司也开始使用，我们内部很多地方也用它来代替MySQL来做存储，比如我们的搜索结果页的用户资料，就是用它来做一层MySQL外的冗余存储，目的是加快搜索结果页的显示。在key-value并需要持久存储的场景下，用它比MySQL更有效，Cabi
2011-04-28 19:48:00
992
转载 人人网移动开发架构
说起手机操作平台的发展先要说移动终端的发展，因为平台的发展离不开移动终端，近十年移动终端发展和未来移动终端趋势大体可分为以下四个个阶段：第一个阶段：功能终端。满足用户基本通信需求，如发短信、打电话，附加些贪食蛇、推箱子小游戏。第二个阶段：智能化的终端。可扩展第三方应用，实现上网浏览等互联网基础功能，以诺基亚S60手机为代表的。第三个阶段：互联网和平台化的终端。手机和互联网更加紧密，浏览器、流媒体更加强大，互联网应用和手机系统特性结合的更加紧密；手机成为了一个平台，用户可以通过下载第三方应用来DIY这款终端，
2011-04-28 19:08:00
2191
1
转载 Quora 用了哪些技术 ?
<br /><br />很多团队都在学习、研究 Quora 。前段时间看到这篇 Quora's Technology Examined ，阐述了 Quora 的技术架构，有一些值得关注的信息，记录并分享一下。<br />使用云计算服务<br />Quora 大量使用 Amazon EC2 与 S3 服务；操作系统部署的是 Ubuntu Linux，易于部署和管理；静态内容用 Cloudfront.服务分发，图片先传到 EC2 服务器，使用 Pyhon S3 API 处理后后传到 S3。<br />从开始就使
2011-04-28 01:41:00
1184
转载 开发与研发
<br />无意间看的一篇文章，让我思绪有了些波动...<br /> <br /> <br /><br />同样是写程序，不同的岗位工作内容不一样，对程序质量以及工程师的要求也不一样。程序开发大概可以划分成两类：开发和研发，相应也就有开发工程师和研发工程师。很多人觉得做开发和做研发没什么区别，“都是一样对着电脑写程序啊”，但其实这两者是完全不一样的，下面我想抛开公司对员工的期望、社会对工程师的需求等其它因素，单纯从国内互联网行业“工程师个人发展”的角度来说一下我个人对这两类工作的看法。开发<br />开发一
2011-04-26 17:07:00
1030
原创 android.content.res.Resources$NotFoundException 异常处理
<br />如果需要配置android:theme 属性：<br /> <br />如：<br /> <application android:icon="@drawable/icon" android:label="@string/app_name" android:theme="@style/notitle"><br /> <br />xml文件：styles.xml:<br /> <br /><br /><?xml version="1.0" encoding="UTF-8"?><br /><re
2011-04-11 21:51:00
3898
原创 JavaFX离线部署和运行,客户端浏览器可以自动检测并下载安装指定服务器的JRE
此文主要说明如何在离线的情况下使用JavaFX程序，以及在没有安装JRE的客户端，如何自动下载并安装指定服务器上的JRE。（此文是在NetBeans开发工具下进行的，并且由IDE自动生成部署时所需文件）1、安装JRE（最低需要JRE6 Update10以上）。注意，不同版本的JFX也对应不同的JRE，在离线使用的情况下。比如JFX1.2的离线包在JRE6 12（及以前）上就有问题，JFX1.3最好对应最新的JRE（目前（写这篇文章的时候）比较稳定的是：jre-6u24-windows-i586.exe，并
2011-04-02 19:22:00
4097
原创 javaFx如何链接外部网页（从javafx内部打开新的网页）
Hmm, 2 ways to do it actually.No1 : Use the Desktop API of JDK6. It's simple to use. One example is here.So, very basic code will go like this :package sample2;import javafx.scene.Scene;import javafx.stage.Stage;import javafx.scene.control.*;impo
2011-04-02 10:18:00
4401
转载 HTTP POST GET 本质区别详解
<br />一 原理区别 <br /><br /> 一般在浏览器中输入网址访问资源都是通过GET方式；在FORM提交中，可以通过Method指定提交方式为GET或者POST，默认为GET提交 <br /><br />Http定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETE <br /><br />URL全称是资源描述符，我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，DELETE就对应
2011-04-01 20:36:00
782
转载 用Macbuntu主题包把你的Ubuntu 10.10装扮成Mac OS X风格
<br /><br /> <br />Macbuntu 是一个用于 Ubuntu 的Mac主题包，通过其提供的 install.sh 脚本就可以把 Ubuntu 用一个命令打造成漂亮的苹果 Mac 风格，并且Macbuntu 提供多样的风格调整。<br />当运行安装脚本时，Macbuntu 会自动安装 Compiz Extras 、Global Menu 、Docky 及 Ubuntu-Tweak 等软件，同时会自动配置好登录界面、MetaCity 、Compiz 特效、窗口主题、背景墙纸等等风格
2011-02-27 12:12:00
2724
转载 美国网站在中国失败的10大思路性执行错误
<br />当我们的高校教科书还在将ebay、amazon、yahoo、google等作为成功案例宣讲时，当你去书店去买品种少的可怜的从美国翻译过来的互联网书籍时，里面也充斥着这些美国互联网网站如何人性化、如何技术先进等传奇成功经验。但我们在中国看到的现实是恰恰相反的，美国网站在中国的发展乏善可陈，在中国基本上都是失败的典型，可以说其中国竞争对手的网站的发展是完全抛弃这些美国网站的经验做法才成功的，甚至要和这些美国网站“倒着做”才成功的。<br /> 虽然现在中国的报刊杂志开始质疑这些美国
2011-02-26 12:11:00
910
转载 VMware虚拟机中如何安装VMWare-Tools详解
<br /> 好处自然不用多说：可以支持图形界面，可以支持共享文件功能等<br /> <br /> 加载VMware Tools<br /> <br /> 很简单，不多说：VMware Workstation 虚拟机（M）---》安装WMware Tools......（当然还有其他的方法）<br /> <br /> <br /> 安装VMware Tools<br /> <br /> 从上述步骤可以看出，此时只是加载了V
2010-12-22 11:46:00
1351
转载 Ubuntu 10.10更新源列表
<br />1.sudo cp /etc/apt/sources.list /etc/apt/sources.list.bk<br /><br />sudo gedit /etc/apt/sources.list<br /><br />编辑你的源列表，将原来的内容全部删除，添加下面列表中最适合你的源（注意不要全部添加），选择一个最合适你的即可，复制到你的列表中，然后保存列表。<br />2.sudo apt-get update 更新源列表信息<br />可以在运行“sudo apt
2010-12-12 22:16:00
889
转载 在Ubuntu 10.10下安装JDK配置Eclipse及Tomcat
安装Sun JDK（由于使用android源码，采用jdk1.5.0_22,jdk6同样适用）1. 从Oracle官方网站下载Linux版本JDK二进制包。对于Java 5来说，文件名是 jdk-1_5_0_22-linux-i586.bin2. 复制下载好的文件到你准备安装JDK的文件目录下。这里我将其放在 /home//java/jdk-1_5_0_22-linux-i586.bin3. 打开终端（Terminal）窗口并定位到上一步的文件目录(/home//java)下，然后输入命令：sudo sh
2010-12-11 16:36:00
1187
转载 Ubuntu10.10 如何下载Android源码
<br /> <br />1.安装获取源代码所需工具"git","curl"<br /> $ sudo apt-get install git-corecurl #请确认网络已连接<br /> <br />2.安装获取源代码所需工具"repo"<br /> $ mkdir~/bin
2010-12-11 13:20:00
1317
转载 Ubuntu10.10中安装VMware tools出现问题后如何解决
<br />(提示：以下是针对安装VMware tools之后，出现问题的解决方法)<br />在终端中执行su命令，然后按提示输入密码，获取root权限，然后分别执行下列命令：<br />（这里内核版本号可能有所不同，要在终端中执行uname -r查看当前内核版本）<br />cd /usr/src/linux-headers-2.6.35-22-generic/include<br />cp -p generated/utsrelease.h linux/utsrelease.h<b
2010-12-10 20:37:00
1178
转载 IPv4只剩100天了
<br /><br /> <br /> <br />互联网是基于名为IPv4的网络协议的，该协议是TCP（HTTP及聊天应用使用）与UDP（视频与音频应用使用）的基石。它使用了4字节的IP地址（如192.168.54.32）来识别通道中的端点（大多数人和应用都会使用DNS名，它会将www.infoq.com转换为数字化的IPv4地址，如63.246.7.184）。<br />然而遗憾的是，IPv4地址空间很快就要耗尽了。根据@ipv4countdown所述，剩下的IPv4地址将在100天之内用尽；其余下的总
2010-12-02 19:21:00
1144
转载 高焕堂：iPhone软件是芝麻，巧用Android才能赚大钱
<br /> “Apple公司的app store和google android都为大家提供了更加容易赚钱的机会，但是我认为，为Apple app store 开发软件的公司和个人赚的都只是小钱，利用android的特性进行软硬件整合设计、再加上适当的艺术和工业设计才能赚到大钱。比较起来，apple为大家提供的机会就像是芝麻，android却能为大家带来一个汉堡。”在日前由创意时代主办的android工作坊上，亚太地区Android促进会主席、台湾著名架构设计师高焕堂与参与工作坊的上百名嘉宾
2010-12-01 22:56:00
1017
原创 如何在你的MACOS，创建.bash_profile(隐藏文件)
<br /> <br />A typical install of OS X won't create a .bash_profile for you. When you want to run functions from your command line, this is a must-have.(For ex:configure path to Android)Start up TerminalType "cd ~/" to go to your home folderType "touch
2010-11-30 00:08:00
6244
原创 Mac OS X系统深入了解－－系统文件结构篇(二)
<br />Library目录<br /><br />Library是一个特殊的目录，用于存储特定的应用程序和特定的系统资源。每个文件系统域都有其自身Library目录的副本，这些Library目录具有不同的访问级别以匹配不同的域类型。虽然一个应用程序可以使用这个目录来存储内部数据或临时文件，但将应用程序的束自身或是用户数据文件存放在Library目录中将是不足取的。应用程序的束应放在一个/Applications目录中，而用户数据应放在用户的home目录中。<br /><br />Libr
2010-11-29 01:50:00
7751
原创 Mac OS X系统深入了解－－系统文件结构篇（一）
<br />OS X采用的是类UNIX的多用户系统。<br />通常我们在启动盘下面都只能看到应用程序、资源库、系统、用户这４个目录。但其实还有很多的隐藏目录，如bin、sbin之类的，这些都是系统的一些资源，一般是不用普通用户去访问，是些比较重要的系统文件及配置文件。<br />所以我这里就只是探讨一下通常在Finder中可以触及的文件项目和资源。<br /><br />首先我们来了解一下OS X系统的几大组成部分：<br />文件系统区域：<br />作为了一个多用户的操作系统，控制系统资源的访问对于保
2010-11-28 22:25:00
18970
原创 Mac配置Android开发环境变量及工具安装图
Android开发工具<br />为在一台Mac机上安装Android，本文的讲解中需要下载以下工具：Sun’s Java Development Kit (JDK)Android Software Developer Kit (SDK)Eclipse IDEAndroid Developer Tool (ADT) Eclipse plug-inJava Development Kit<br />对于Mac开发者来说Mac OS X已经预装了JDK 5的确省了些事。故本文省去此部分内容。但是如果你用的
2010-11-28 21:43:00
11396
1
原创 美国人手机和电脑网络使用习惯调查报告
<br /> <br />图解：如果把美国人花在移动互联网上所有的时候算成一个小时的话，那么时间是如何被分配的和花在哪些地方的呢？<br />此图非常直观地展示了时间的分配情况，让人一目了然。调查也表明，美国人的网络使用情况在发生着变化。我们可以看到，在电脑上的网络使用中花在社交网站上的时间占到了23%，第二名是在线游戏（10%）。而邮件（8%）被挤到了第三位。<br />我们回到图一，多达42%的时间被用来交换信息，也就是Email这个非常传统的活动。虽然在线视频去年保持了两位数的增长，但是所占的比例也是
2010-11-28 21:31:00
2619
转载 Android 2.2战胜iPhone的六个理由
<br />发布的Android 2.2着实吸引着大众的眼光（编号：Froyo）。我们看到Android 2.2的功能得到了很大的提升，相比起iPhone，笔者认为从以下六个方面来看，Android2.2已经战胜了iPhone。<br /> <br />1. 支持线缆连接<br />是否想把你的Android手机变成电脑的上网Modem设备？没错，Android 2.2完全支持此功能，但是iPhone还不行。即便在Android 2.1平台上，你依然可以通过插件和线缆将你的电脑和Android手机连接。<b
2010-11-28 21:20:00
850
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人