自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

lengyue365的专栏

java hadoop nutch

  • 博客(26)
  • 资源 (7)
  • 收藏
  • 关注

转载 postgresql 优化

http://blog.163.com/czg_e/blog/static/46104561201111910258985/

2013-09-10 11:05:11 633

转载 Linux系统性能调优那些事儿

一、前提我们可以在文章的开始就列出一个列表,列出可能影响Linux操作系统性能的一些调优参数,但这样做其实并没有什么价值。因为性能调优是一个非常困难的任务,它要求对硬件、操作系统、和应用都有着相当深入的了解。如果性能调优非常简单的话,那些我们要列出的调优参数早就写入硬件的微码或者操作系统中了,我们就没有必要再继续读这篇文章了。正如下图所示,服务器的性能受到很多因素的影响。当面对一个使用

2013-08-23 10:57:52 622

原创 python 学习

http://sebug.net/paper/python/index.html

2013-08-21 17:44:30 556

原创 postgresql hot-standby 配置

本文资料整理自网上,原始资料参见:master-slave配置:http://www.cnblogs.com/marsprj/archive/2013/03/04/2943373.html 主备切换:http://my.oschina.net/Kenyon/blog/98217 向上面的博主致敬,另外本文是写给积极探索新技术,并富有热情的技术人员,那些自以为掌握了成熟技

2013-08-08 12:58:46 685

转载 linux下IPTABLES配置详解

原文地址:http://www.cnblogs.com/JemBai/archive/2009/03/19/1416364.html   如果你的IPTABLES基础知识还不了解,建议先去看看.开始配置我们来配置一个filter表的防火墙.(1)查看本机关于IPTABLES的设置情况[root@tp ~]# iptables -L -nChain INPUT (

2013-07-31 15:52:02 589

转载 linux如何查看系统信息

一:cpu[root@srv /]# more /proc/cpuinfo | grep "model name"model name    : Intel(R) Xeon(R) CPU          X3220 @ 2.40GHzmodel name    : Intel(R) Xeon(R) CPU          X3220 @ 2.40GHzmodel name   

2013-07-29 11:06:32 495

转载 Linux英文版显示中文:local详解

转自: http://hi.baidu.com/yglgngzxnqbnrxd/item/f32537c07b3eefc4994aa0ae关于locale的设定,为什么要设定locale 关于locale的设定 locale是国际化与本土化过程中的一个非常重要的概念,个人认为,对于中文用户来说,通常会涉及到的国际化或者本土化,大致包含三个方面:看中文,写中文

2013-07-11 10:06:30 2819

转载 hadoop secondarynamenode

原文地址:http://www.blogjava.net/hello-yun/archive/2012/07/27/384132.html 光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其 实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保

2013-06-27 12:09:58 668

原创 集群下命令的统一执行

为了管理集群,常常需要在整个集群下执行同样的命令,但是分别到不同机器上去一个一个的执行效率太低,所以就需要找到一种方式简化整个过程。话不多说,直接给出方法:一、使用ssh免密码登陆执行关于ssh的配置,本文不提,只是配置时注意权限的问题。这个步骤需要在每台机器上面分别配置好,保证机群上的机器都可以免密码互连。要执行命令,登陆其中任何一台机器,以下面方式执行:CMD="/sbin

2013-06-24 09:36:24 1182

转载 postgresql 角色

http://www.php100.com/manual/PostgreSQL8/user-manag.html

2013-06-07 10:16:08 472

原创 cpuinfo中查看物理CPU、逻辑CPU和CPU核数

先贴上机器的cpuinfo:cat /proc/cpuinfoprocessor       : 0vendor_id       : GenuineIntelcpu family      : 6model           : 58model name      : Intel(R) Core(TM) i7-3770 CPU @ 3.40GHzstepping

2013-06-07 10:12:04 1733 1

原创 linux 下安装配置postgreSQL

系统:LSB Version:    :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarchDistributor ID: RedHatEnterpriseServerDescription:    Red Hat Ente

2013-05-27 12:51:12 1194

原创 c++基础知识2

一、数组1、一维数组的定义和引用数组是同一类型的一组值(10个 char 或15个 int) ,在内存中顺序存放。整个数组共用一个名字,而其中的每一项又称为一个元素。定义方式:类型说明符     数组名[常量表达式];C++不允许对数组的大小作动态的定义,即数组的大小不能是变量,必须是常量。如果要根据不同的数值改变数组的大小,可用常量表达式。如:#define  S

2013-05-02 18:28:14 586

原创 c++基础知识

1.数据类型整型变量:分为有符号型与无符号型。有符号型:    short 在内存中占两个字节,范围为-215~(215-1)     int 在内存中占四个字节,范围为-231~(231-1)    long在内存中占四个字节,范围为-2-31~231-1无符号型:最高位不表示符号位unsigned  short 在内存中占两个字节,范围为

2013-05-02 14:18:54 518

原创 vimrc

" All system-wide defaults are set in $VIMRUNTIME/debian.vim (usually just" /usr/share/vim/vimcurrent/debian.vim) and sourced by the call to :runtime" you can find below.  If you wish to change an

2012-10-08 10:56:40 528

原创 paxos

Paxos is a family of protocols for solving consensus(一致) in a network of unreliable(不可靠的) processors(处理器). Consensus is the process of agreeing on one result among a group of participants. This proble

2012-10-08 10:10:05 1523

原创 hadoop_hbase_crash_test

crash machine: machine-121.kill HRegionServerJob Name: generate: 1348021259-1297054358------------------------------------------------------------------------------------------------------

2012-10-08 10:04:31 1355

原创 nutch-2.0集群配置

应该在一个机器中配置好所有的文件,然后执行简单的拷贝,这样能减少错误的发生。在配置所有java的文件之前,应该先配置用户环境:可以新建一个用户,取名为nutch或者其他的名字,但是一定要保证所有的集群中的机器的用户名一致。然后就是/etc/hosts文件,这个文件必须要设置,尽管对于hadoop不是必须的,但是对于hbase却是必须的/etc/hosts:127

2012-10-08 10:02:11 751

原创 nutch-2.0源码之GeneratorJob

/******************************************************************************* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTIC

2012-09-28 11:40:29 835

转载 HBase性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer

2012-09-28 09:36:34 499

原创 nutch-2.0源码之InjectorJob

/******************************************************************************* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTIC

2012-09-27 15:43:58 905

原创 eclipse下运行nutch-2.0

这是一个我折腾很久的问题,走了很多的弯路,至今仍然不会最简单的方法,但是总归算是殊途同归吧。官方的文档中有介绍nutch-1.5在eclipse下的运行方法,地址是:http://wiki.apache.org/nutch/RunNutchInEclipse但是由于自己经验不足,英文也不好,故而没能够顺利完成。网上有大牛介绍eclipse中调试nutch2.0+cassandr

2012-09-26 17:25:17 1324

hadoop相关-HBase体系结构

   HBase的体系结构遵从主从服务器架构主:HBase Master从:HRegion Server群 HBase中所有的服务器都是通过Zookeeper来协调,并处理运行期间可能出现的错误。  一、逻辑模型以nutch-2.0下hbase存放数据的表"webpage"为例:describe: {NAME => 'w...

2012-08-24 11:11:49 139

不积跬步无以至千里-JobContext.java

今天开始钻研Hadoop源码,虽然我还没有找到一个合适的高效的方法,但是我相信随着逐步的深入,终有一天能够找到,废话不多说了,开始! 现从mapreduce开始。       ...

2012-08-23 17:57:51 202

原创 nutch-2.0介绍

开始钻研~~~~~~~~~

2012-08-23 17:51:27 89

原创 nutch2.0完全分布式部署配置

nutch2.0的分布式环境依赖hadoop-0.20.2和hbase-0.90.*。测试做在两台机器上,A(master):192.168.20.215,B(slave):192.168.20.214 目的是在A机上运行进程:Hadoop: NameNode, SecondaryNameNode, JobTrackerHbase: HMaster在B机上运行进程:Ha

2012-08-16 16:41:03 3160

linuxshell命令入门

linuxshell命令入门 , shell入门教程

2011-06-05

远程访问linux桌面

远程访问linux桌面,linux桌面连接的多种方法

2011-06-04

JavaScript内核高级教程

JavaScript内核高级教程 对javascript的深入理解

2011-06-04

javascript闭包

对 javascript 闭包的详细解说,非常详细

2011-06-04

网络协议TCP-IP分析

网络协议TCP-IP分析,用实验来分析的

2011-06-04

TCPIP网络协议图

TCPIP网络协议图,非常详细,清楚,TCPIP网络协议图

2011-03-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除