2012年05月_fish_cool

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创在winows下安装相关python扩展包问题

在运行python setup.py install时，报错信息如下：unable to find vcvarsall.bat 安装了mingw后，还是不行，报错信息如下图：通过一个网友的对此问题的进行更深入的了解，特转贴过来：经过对C:/Python32/Lib/distutils目录下.py文件的仔细翻阅，发现“unable to find vcvarsall.b

2012-05-25 15:29:28 2930 1

原创 liunx环境下安装mysql For Python有感

安装的时候，要注意linux自带的python安装。如果想自己安装的python生效。就修改/etc/profile文件，将python安装的路径写在前面如下：PATH="/usr/local/bin/:$PATH"安装的时候，我是用默认安装，所以python2.7新版本在/usr/local/bin目录下，写在前面然后保存。source /etc/profile使修改生效。

2012-05-25 14:20:35 9105 3

原创 liunx默认安装的路径

总结：系统自带安装一般在/usr/bin目录下面后面安装在/usr/local/bin目录下面

2012-05-25 13:17:49 673

原创有个朋友的私信

昨天有个朋友发了一个私信，不小心删除了，如看到请重新发下。

2012-05-24 18:02:06 642

转载 Linux下常用I/O模型

简介 Linux异步I/O是Linux内核中提供的一个相当新的增强。它是2.6版本内核的一个标准特性，异步非阻塞I/O背后的基本思想是允许进程发起很多I/O操作，而不用阻塞或等待任何操作完成。稍后或在接收到I/O操作完成的通知时，进程就可以检索I/O操作的结果。这并不是一个详尽的介绍，但是我们将试图介绍最常用的一些模型来解释它们与异步I/O之间的区别。下图给出了同步和异步模

2012-05-24 17:59:11 692

原创最近转贴的liunx调整

最近转贴的liunx调整，将在hadoop上面进行测试，看看效果。稍后会带来测试结果。今天调试了下提升磁盘读写速度，发现hdparm命令不支持SATA的硬盘，必须下载sdparm这个命令。后面再将进行测试。

2012-05-18 13:18:00 530

转载 Linux系统网络优化【转】

linux网络 1, 优化网络设备接收队列 net.core.netdev_max_backlog=3000 该文件表示在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。默认值：Red Hat Linux release 9 (Shrike)默认为300 rhel5 默认为1000 建议值

2012-05-15 22:45:46 1282

转载 Linux下提高硬盘读写速度

Linux命令：hdparm功能说明：显示与设定硬盘的参数。语　　法：hdparm [-CfghiIqtTvyYZ][-a ][-A ][-c ][-d ][-k ][-K ][-m ][-n ][-p ][-P ][-r ][-S ][-u ][-W ][-X ][设备]补充说明：hdparm可检测，显示与设定IDE或SCSI硬盘的参数。参　　数：-a 设定读取文件时

2012-05-15 22:36:25 10430

转载（总结）关于Linux的缓存内存 Cache Memory详解

前天有朋友问我，为啥我的Linux系统没运行多少程序，显示的可用内存这么少？其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做Cache Memory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到可用内存free项会很少，此时查看系统的 /proc/meminfo 文件，会发现有一项 Cached Memory：输入cat /pr

2012-05-15 22:27:18 6999 1

转载各种图形展现的功能简介

在众多的图表类型中，选用那一种图表更好呢？根据数据的不同和使用要求的不同，可以选择不同类型的图表。图表的选择主要同数据的形式有关，其次才考虑感觉效果和美观性。下面给出了一些常见的规则。　　面积图：显示一段时间内变动的幅值。当有几个部分正在变动，而你对那些部分总和感兴趣时，他们特别有用。面积图使你看见单独各部分的变动，同时也看到总体的变化。　　条形图：由一系列水平条组成。使得

2012-05-14 21:44:59 1068

原创 hadoop节点重启步骤

对于datanode可以在master中配置，然后在maste启动的时候，一并去启动这些节点。对于死掉的节点，也可以通过以下命令启动。重启挂掉的节点进入到挂掉的机器 bin/hadoop-daemon.sh start datanode //启动数据节点bin/hadoop-daemon.sh start tasktracker //启动任务管理器此时再在mas

2012-05-14 14:44:09 16870

原创 hive建表规范

源表用s_为前缀临时表用t_为前缀结果表用r_为前缀跨sql的临时表用m_为前缀

2012-05-14 10:28:47 3338

原创 hadoop运行随记

最近因资源分配重新分配，其中有一台datanode的机器退出。今天重新对之前的hive脚本进行运行，发现快了许多。之前这台机器是老机器（后面的datanode都是新机器）。不知道是不是因为这台datanode导致的差异，让我之前测试的时候速度没有提升许多。这里就当随记吧。后面将首先考虑如何让hadoop运行更稳定（其次再考虑速度），这里总结有以下几个方面：第一：datano

2012-05-08 17:15:07 646

转载 Hadoop集群中增加新节点

向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序，配置相应的环境变量2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys3. 新节点上设置host，需要有集群中各节点的host对应4. 新节点上建立相关的目录，并修改属主5. master的slaves文件中增

2012-05-08 16:58:35 994

原创关于hadoop使用LZO压缩模式有感

最近这几天验证了下LZO这种压缩模式，有以下感觉：最近LZO的使用问题，发现java.library.path设置问题，很多网上写的是在hadoop-env.sh文件里增加JAVA_LIBRARY_PATH这个属性（关于另一个增加HADOOP_CLASSPATH是有效的，确实在这个hadoop-0.20.205.0版本确实启动时，不会自动加载lib目录下的jar包）。而我设置这个参数确实是

2012-05-08 15:49:03 7339

原创关于Hadoop支持部署LZO（后续）

通过3天的努力，终于解决了LZO本地库加载问题，报错信息如下：12/05/07 17:08:41 INFO input.FileInputFormat: Total input paths to process : 1212/05/07 17:08:41 ERROR lzo.GPLNativeCodeLoader: Could not load native gpl libraryja

2012-05-07 17:48:41 1901

原创 python for Eclipse IDE部署

最近要给公司做个内部培训，所以又要部署一个环境了。首先下载python windows版安装文件，网址：http://www.python.org/getit/releases/2.7.3/目前2.7.3是很稳定的一个版本 IDE安装步骤来自转载一篇文档如下： Click on "Add"Add: Name: PyDev and

2012-05-04 17:02:25 1182

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

领域建模设计领域建模设计

领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计

2009-03-06

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01