shenyan008-CSDN博客

转载 Kafka Replication

Kafka Replication High-level DesignReplica placementsInitial placementIncrementally add brokers onlineTake brokers offlineData replicationRelated workSynchronous replicationWritesReadsFa

2013-03-29 14:34:19 1599

转载 Simple Python Queue with Redis

Simple Python Queue with RedisPosted on June 3, 2012#python#redis#nosqlThe following article shows how to use redis to build a simplemulti-producer, multi-consumer Queue with an interface si

2013-03-28 16:19:53 1110

转载 The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode

The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)by Joel SpolskyWednesday, October 08, 2003Ever wonder about tha

2013-03-27 16:59:13 1274

转载 Python中list、tuple、dict 区别

Python中list、tuple、dict区别(2010-11-02 22:35:54) Dictionary 是 Python 的内置数据类型之一,它定义了键和值之间一对一的关系。（用花括号）每一个元素都是一个 key-value 对, 整个元素集合用大括号括起来您可以通过 key 来引用其值, 但是不能通过值获取 key在一个 dictionary 中不能有重复的

2013-03-01 15:22:28 735

转载 Linux native AIO与eventfd、epoll的结合使用

Linux native AIO与eventfd、epoll的结合使用2013年1月9日lenky发表评论阅读评论526 次浏览在前面的示例libaio_test.c和native_aio_test.c中，可以看到对磁盘aio请求（本文的aio都指此类）的使用有阻塞等待，这明显之处为对io_getevents()函数（当然，其它函数，比如io_submit()也有一定程度的阻塞）的

2013-03-01 14:55:24 1795

转载 Python 字符串处理

python 字符串替换python 字符串替换是python操作字符串的时候经常会碰到的问题，这里简单介绍下字符串替换方法。python 字符串替换可以用2种方法实现:1是用字符串本身的方法。2用正则来替换字符串下面用个例子来实验下：a = 'hello word'我把a字符串里的word替换为python1用字符串本身的replace方法a.repl

2013-03-01 14:52:40 449

转载 sql语句like的用法

sql语句like的用法在SQL结构化查询语言中，LIKE语句有着至关重要的作用。　　LIKE语句的语法格式是：select * from 表名 where 字段名 like 对应值（子串），它主要是针对字符型字段的，它的作用是在一个字符型字段列中检索包含对应子串的。　　假设有一个数据库中有个表table1，在table1中有两个字段，分别是name和sex二者全是字符型数据。现在

2013-03-01 12:09:34 543

转载搭建nginx + python + django +memcached+ mysql +fastcgi 环境

2013-03-01 11:01:17 732

转载 nginx+uwsgi来部署Django

nginx+uwsgi来部署Django1. 软件下载地址:uwsgi ?wget http://projects.unbit.it/downloads/uwsgi-latest.tar.gzflup ?wget http://www.saddi.com/softwar

2013-02-28 18:37:19 524

转载 linux 关机，重启，待机，休眠命令。

linux 关机，重启，待机，休眠命令http://www.cnblogs.com/lovedboy/articles/2496841.html立刻关机：sudo haltsudo init 0 （我最常用的）sudo shutdown -h nowsudo shutdown -h 0....定时/延时关机：sudo shutdown -h 19:30

2013-02-28 18:19:31 2273

转载 MySQL 删除匿名用户

删除匿名用户在MySQL刚刚被安装后，存在用户名、密码为空的用户。这使得数据库服务器有无需密码被登录的可能性。为消除隐患，将匿名用户删除。 [root@sample ~]# mysql -u root -p　 ← 通过密码用root登录Enter password:　 ← 在这里输入密码 Welcome to the MySQL monitor. Commands

2013-02-28 09:58:46 526

转载 MySQL索引的查看创建和删除

MySQL索引的查看创建和删除摘自：http://linux.chinaunix.net/techdoc/system/2009/07/20/1125190.shtml1．索引作用在索引列上，除了上面提到的有序查找之外，数据库利用各种各样的快速定位技术，能够大大提高查询效率。特别是当数据量非常大，查询涉及多个表时，使用索引往往能使查询速度加快成千上万倍。例如，有3个未索引的表t1、

2013-02-28 09:36:30 412

转载 mysql 添加索引 mysql 如何创建索引

1.添加PRIMARY KEY（主键索引）mysql>ALTER TABLE `table_name` ADD PRIMARY KEY ( `column` )2.添加UNIQUE(唯一索引)mysql>ALTER TABLE `table_name` ADD UNIQUE (`column`)3.添加INDEX(普通索引)mysql>ALTER TABLE `tabl

2013-02-28 09:14:35 1194

转载修改mysql默认字符集的方法

修改mysql默认字符集的方法摘自：http://database.51cto.com/art/201010/229167.htmmysql默认字符集能否进行修改呢？答案是肯定的，下面就将教您两种修改mysql默认字符集的方法，希望对您学习mysql默认字符集方面能有所启迪。(1) 最简单的修改方法，就是修改mysql的my.ini文件中的字符集键值，如 default-c

2013-02-27 15:39:46 707

转载查看mysql字符集及修改表结构

查看mysql字符集及修改表结构(2012-03-09 09:00:36)MySQL 乱码的根源是的 MySQL 字符集设置不当的问题，本文汇总了有关查看 MySQL 字符集的命令。包括查看 MySQL数据库服务器字符集、查看 MySQL 数据库字符集，以及数据表和字段的字符集、当前安装的 MySQL 所支持的字符集等。一、查看 MySQL 数据库服务器和数据库字符集。

2013-02-27 15:37:18 554

转载 MySQL使用指南

MySQL使用指南作者：大金刚有很多朋友虽然安装好了mysql但却不知如何使用它。在这篇文章中我们就从连接MYSQL、修改密码、增加用户等方面来学习一些MYSQL的常用命令。一、连接MYSQL。格式： mysql -h主机地址 -u用户名－p用户密码 1、例1：连接到本机上的MYSQL。首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令my

2013-02-25 14:36:00 493

原创 MySQL 使用笔记

1. 安装客户端和服务器：mysql 和 mysql-server2. 服务器启动：systemctl start mysqld.service ##启动mysql服务器systemctl enable mysqld.service ##使mysql服务器自动运行手动安装MySQL-server-5.6.10时，没有systemctl启动文件，需要用service命

2013-02-25 14:33:13 426

转载 Fedora16 mysql 服务器启动

Fedora16 mysql服务器启动 2012-03-10 16:32:50| 分类：Linux/Unix |字号订阅从Fedora16开始，Redhat不再推荐ntsysv、chkconfig、service，而是建议使用新的服务管理工具systemctl （貌似功能强大）对比表，以 apache / httpd 为例

2013-02-25 12:34:03 503

原创 PVM (Parallel Virtual Machine)

并行虚拟机 http://www.csm.ornl.gov/pvm/

2013-01-21 00:51:43 1202

转载 Java中Comparable和Comparator实现对象比较

Java中Comparable和Comparator实现对象比较摘自：http://pengcqu.iteye.com/blog/490149当需要排序的集合或数组不是单纯的数字型时，通常可以使用Comparator或Comparable，以简单的方式实现对象排序或自定义排序。下面通过两个例子分别用Comparable和Comparator实现对User对象中年龄排序。 1

2013-01-16 16:08:41 428

转载 SSH无需输密码的认证问题

SSH相互认证的问题（authorized_keys ）今天公司做容灾测试的2台LINUX服务器的SSH相互认证出现了问题，重建公密钥老是提示输入密码。最后发现，可能是由于谁修改了/home/dbra3的权限（没修改前是777，我改后为了700）[dbra3@hzmc .ssh]$ chmod 700 ~/.ssh [dbra3@hzmc .ssh]$ /usr/

2013-01-15 23:40:24 445

转载 TinyXML：一个优秀的C++ XML解析器

TinyXML：一个优秀的C++ XML解析器读取和设置xml配置文件是最常用的操作，试用了几个C++的XML解析器，个人感觉TinyXML是使用起来最舒服的，因为它的API接口和Java的十分类似，面向对象性很好。TinyXML是一个开源的解析XML的解析库，能够用于C++，能够在Windows或Linux中编译。这个解析库的模型通过解析XML文件，然后在内存中生成DOM

2013-01-06 03:06:03 455

转载 JobTracker任务调度器之JobQueueTaskScheduler

JobTracker任务调度器之JobQueueTaskScheduler本篇文章来源于 Linux公社网站(www.linuxidc.com) 原文链接：http://www.linuxidc.com/Linux/2012-01/50857.htm 在客户端把作业提交给JobTracker之后，JobTracker就需要开始考虑把这个Job交给那些TaskTracker来执行

2013-01-05 19:06:35 584

转载 Hadoop TaskScheduler浅析

Hadoop TaskScheduler浅析TaskScheduler，顾名思义，就是MapReduce中的任务调度器。在MapReduce中，JobTracker接收JobClient提交的Job，将它们按InputFormat的划分以及其他相关配置，生成若干个Map和Reduce任务。然后，当一个TaskTracker通过心跳告知JobTracker自己还有空闲的任务Slot时，Job

2013-01-05 19:03:30 589

转载 Hadoop Job Tuning

Hadoop Job TuningHadoop平台已经成为了大多数公司的分布式数据处理平台，随着数据规模的越来越大，对集群的压力也越来越大，集群的每个节点负担自然就会加重，而且集群内部的网络带宽有限，数据交换吞吐量也在面临考验，由此引发了人们对大规模数据处理进行优化的思考。本文仅从实践经验出发，针对Hadoop Job优化提出了一些观点，不包含HDFS的优化。Job Tracker

2013-01-05 14:12:45 488

转载 Uncovering mysteries of InputFormat: Providing better control for your Map Reduce execution

Uncovering mysteries of InputFormat: Providing better control for your Map Reduce execution.Posted byBoris Lublinsky, Mike SegelonNov 04, 2011As more companies adopt Hadoop, there is a greater var

2013-01-05 00:11:15 712

转载研究云计算与大数据分析处理领域建议看的学术论文列表

研究云计算与大数据分析处理领域建议看的学术论文列表[1] Zhou AY. Data intensive computing-challenges of data management techniques. Communications of CCF, 2009,5(7):50.53 (in Chinese with English abstract).[2] Cohen J, Dola

2013-01-03 23:17:44 2364

转载如何在Hadoop集群运行JNI程序

如何在Hadoop集群运行JNI程序hadoop是基于java的数据计算平台，引入第三方库，例如C语言实现的开发包将会大大增强数据分析的效率和能力。阿里巴巴内部使用的分词软件（用c++实现的，以下简称WS包）是日常工作中最基本的软件包，通过java的jni机制，笔者将WS包成功的运行在hadoop上，深受很多部门的欢迎。下面借这个例子介绍hadoop上jni程序的开发过程。首先，简单介绍

2013-01-03 01:00:50 802

转载从零开始一步步教你：用C++开发一个简单的hadoop分布式计算应用程序

从零开始一步步教你：用C++开发一个简单的hadoop分布式计算应用程序假设你有上百G的数据，你要统计出这些数据中，含有某些你感兴趣的内容的数据的有多少条，你会怎么做？在硬件条件允许的情况下，用hadoop并行计算是一个不错的选择。为了使本文得以清晰地说明，我们不妨假设如下的情况：我们有100G的数据，分别保存在5个文件中，它们位于 /data/ 目录下。这5个数据文件的内

2013-01-03 00:33:38 1172

转载 bash中字符串的处理

1.得到字符串长度方法一:$echo ${#variable}code:PHP 代码:zhyfly: ~$x="this is a test"zhyfly: ~$ echo ${#x}14 方法二:$expr length "$variable"code:PHP 代码:zhyfly: ~$x

2012-12-31 20:28:16 441

转载 linux下如何获取cpu的利用率

linux下如何获取cpu的利用率 (2008-05-23 19:39)分类： proc文件系统"proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过proc得到系统的信息，并可以改变内核的某些参数。" 这里将介绍如何从/proc文件系统中获取与防火墙相关的一些性能参数

2012-12-31 00:47:25 596

转载 Linux下获得CPU利用率和内存使用情况(C实现)

Linux下获得CPU利用率和内存使用情况(C实现)在Linux中如果要监视一个进程的运行情况，如查看它的CPU使用效率和内存使用情况，就需要从系统的/proc目录的读取一些系统信息。然后分析得到结果，特别是在嵌入式中的应用程序这个功能就很重要。本文中的代码是从top命令的源代码分析中获得，并做了部分修改，在FC6+GCC4.1调试通过。从这个工程中我也获得一些感悟。1. Linux系统很

2012-12-31 00:29:18 763

转载获取本机所有接口和所有IP地址的函数

获取本机所有接口和所有IP地址的函数最近一直在忙一个程序，为了保护自己机器上所有IP，便要获取它们。虽然IPv6中根本没有ARP，但是我编写代码的原则一直希望能够独力于协议版本，所以不管怎么说一定要能获取IPv6地址了。要说只要IPv4,就没必要写这篇文章了。我首先考虑的就是使用NETLINK访问，可我不想现在用，因为我想过几天程序写完了，把哪些陈旧的ioctl彻底用NETLI

2012-12-31 00:08:38 1669 1

原创 Hadoop 配置笔记

1. Hadoop默认的配置文件在:conf/core-site.xml,conf/hdfs-site.xml 和 conf/mapred-site.xml2. 几个默认参数值：Hadoop默认的临时文件夹

2012-12-27 22:24:34 478

转载 SSH简介及配置使用SSH登陆远程主机

作者：房东雨放飞技术小组 (2005-03-24 11:46:08) 1.什么是SSH传统的网络服务程序，如：ftp、POP和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而且，这些服务程序的安全验证方式也是有其弱点的，就是很容易受到“中间人”（man-in-the-mid

2012-12-26 20:28:35 1044

转载 rsync应该如何应用

正如业界专家所分析和预测的趋势一样，Linux正在和微软与Unix争夺服务器市场份额，尽管Unix系统一直在做服务器方面有绝对的优势。如今，已成三足鼎立之势，Linux逐渐发展成为第三大服务器操作系统，也成为微软在低端服务器市场的主要竞争者。其中的原因之一就是Linux的安全性能，另外一个就是费用问题了。如果需要执行自动备份操作或部署安全策略，无论是为一个单一的工作站还是为一个网络内的所

2012-12-26 18:42:34 733

原创 ch C/C++语言解释器

主页：http://www.softintegration.com/书：C for Engineers and Scientists: An Interpretive Approach

2012-12-20 02:42:21 850

转载关于SIGPIPE导致的程序退出

关于SIGPIPE导致的程序退出收集一些网上的资料，以便参考：http://blog.chinaunix.net/u2/69143/showart_1087349.html 当服务器close一个连接时，若client端接着发数据。根据TCP协议的规定，会收到一个RST响应，client再往这个服务器发送数据时，系统会发出一个SIGPIPE信号给进程，告诉进程这个连

2012-12-19 16:39:34 537

转载 Deletion of open named pipes

I am creating and opening a named pipe (using mkfifo() ) and the open is blocked (till someone else opens in write mode). However, another process is easily able to delete the pipe file while the firs

2012-12-19 16:34:04 607

转载 Hadoop Rack Aware 机架感知

副本存放: 最最开始的一步副本的存放是HDFS可靠性和性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行

TA创建的收藏夹 TA关注的收藏夹

TA关注的人