yylsamcyyl-CSDN博客

原创新型的大型bbs架构（squid+nginx）

这个架构基于squid、nginx和lvs等技术，从架构上对bbs进行全面优化和保护，有如下特点： 1、高性能：所有的点击基本上全部由前端缓存负责，提供最快速的处理。 2、高保障度：不需考虑应用程序稳定与否、程序语言是何种、数据库是何种，都能从架构上保证稳定。 3、高可用性：对应用程序的修改达到最简化：在程序的某些地方加入清缓存的语句即可，当然还需要做页面静态化的工作和统计工作。首先看图，这个图...

2014-10-18 18:56:29 89

原创使用python api压缩与解压tar.gz

import gzip #压缩g = gzip.GzipFile(filename="", mode='wb', compresslevel=9, fileobj=open(r'r:\test.log.gz','wb'))g.write(open(r'r:\test.log').read())g.close() #解压g = gzip.GzipFile(m...

2014-09-10 15:38:37 296

原创 Python常见文件操作的函数示例

Python常见文件操作示例　　os.path 模块中的路径名访问函数分隔basename（）去掉目录路径，返回文件名dirname（）去掉文件名，返回目录路径join（）将分离的各部分组合成一个路径名split（）返回（dirname（）， basename（））元组splitdrive（）返回（drivename， pathname）元组splitext（）返回...

2014-09-06 22:24:11 86

原创 LInux下如何安装ffmpeg

终于装上了，把过程记录一下首先要安装各种解码器 1、lame lame-3.97.tar.gz Url：http://sourceforge.net/project/showfiles.php?group_id=290&package_id=309 安装方法如下：Java代码 tar -zxvf lame-3.97.tar.gz cd lame-3.97...

2013-03-31 11:33:12 102

原创漫谈重构

因为工作内容的原因，我在前后两家公司中的工作中主持和经历了十余次代码和架构的重构，下面随便说说我对重构的一些经验和想法。　　关于重构　　首先重构面临的背景都是相似的，程序员们为了快速完成需求和上线而写出了最基本的代码，而在功能的不断扩充过程中，以打补丁的方式对代码进行扩充，中间还会面临着开发人员的变更和离职。逐渐的，代码就会越来越臃肿，渐渐的变得难以维护。　　糟糕的架构会有什么样的影...

2013-03-19 20:44:31 111

原创从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。由此，最近凡是...

2013-03-17 16:45:08 126

原创学习hadoop 出现的问题，以及解决方案

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc...

2013-03-12 08:22:38 210

原创在Hadoop上运行SQL：程序员需知晓的13种数据工具

HiveHadoopSQL开源MapReduceImpala大数据初创公司对SQL支持并不是Hadoop最核心的技术理念，但这一特性确实能帮助很多传统企业，尤其是已经明白下一代分析的重要性但又不想迈向MapReduce的企业，迅速走向大数据分析。为此，本文特别列举了13种从Hadoop内部可以运行SQL查询的，高水... 摘要：对SQL支持并不是Hadoop最核心的技术...

2013-03-10 00:16:11 80

hadoop的初步理解

1:hadoop到底是什么呢，他是一个解决方案，是一个能够处理大数据量的的分布式处理的解决方案，他是google的模仿衍生产品。它是利用了google发表的Mapreduce论文编写变成模型和框架。他主要是把大的任务分割小的任务，并把这些小的任务交给集群上的单点执行。什么叫做Job呢，在MapReduce中，一个准备提交执行的应用程序叫做：job(...

2013-03-06 23:46:53 75

原创初试Hibernate Search

不久前Hibernate推出了Hibernate Search 3.0 GA，由它的名字大家也可以大概猜到它的作用是对数据库中的数据进行检索的。它是hibernate对著名的全文检索系统Lucene的一个集成方案，作用在于对数据表中某些内容庞大的字段（如声明为text的字段）建立全文索引，这样通过hibernate search就可以对这些字段进行全文检索后获得相应的POJO，从而加快了对内容庞大

2008-12-19 22:43:00 213

yylsamcyyl的专栏