- 博客(362)
- 收藏
- 关注
RSS订阅转载 linux 两个文件夹打patch
需求一,将一个文件的更新运用到另一个文件: step 1: diff -u old_file.txt new_file.txt > file.diff step 2: patch -p0 < file.diff 这样的话old_file.t...
2013-09-22 08:18:00
1147
转载 python socket:[Errno 32] Broken pipe
这个错误发生在当client端close了当前与你的server端的socket连接，但是你的server端在忙着发送数据给一个已经断开连接的socket。 下面是stackoverflow给的解决方案: Your server process has received a ...
2013-09-14 18:12:00
1771
转载 py socket:NoneType object has no attribute close
在我们使用python的socket模块调用socket.close()时，有时候会遇到这种问题： 'NoneType' object has no attribute 'close' 产生这个问题的原因是socket本身不是线程安全的( http://stackoverflow.co...
2013-09-13 20:05:00
3049
转载 python中处理IP地址
IPy - 提供了一些有用的类和函数来处理ipv6和ipv4地址和网络项目地址: https://github.com/haypo/python-ipy/API=======================IPy库包含类IP，使用它你可以方便处理对大部分格式的ipv...
2013-08-19 10:46:00
406
转载 sql左连接，右连接，外连接，内连接
现在在这写写关于它们的作用 假设有如下表： 一个为投票主表，一个为投票者信息表～记录投票人IP及对应投票类型，左右连接实际说是我们联合查询的结果以哪个表为准～ 1：如右接连 right join 或 right outer join： 我们以右边vot...
2013-04-19 13:12:00
120
转载 如何获取mongoDB数据库大小Collection大小
1. 获取mongoDB中数据库的大小命令 use databasename db.stats() 显示信息如下 > db.stats(){ "collections" : 3, "objects" : 80614, "dataSize" : 21069700, "...
2013-04-15 23:12:00
2602
转载 电子商务文件存储及读取服务的设计和开发思路
电子商务文件存储及读取服务的设计和开发思路 标签:mongodbgridfsnginx 商品图片，平均200－500K，说大不大，说小不小，但量大且细碎，通常通过页面上传，全部保存在文件里，管理和索引都很慢，几乎无法备份，读取也很慢。 传统的基于磁盘存储的缺...
2013-04-15 14:55:00
118
转载 MongoDB 索引
索引Indexes 索引常常用来大幅度的提升查询的性能。 考虑应用程序的查询种类是非常重要的事情，因此你就要定义相关的索引。 决定了之后，在MongoDB中创建索引是非常简单的。 ...
2013-04-15 14:26:00
81
转载 mongoDB--GridFS简介
前言 :GridFS从名字来看,就明白是一个文件系统,它是mongodb的一个子模块,使用GridFS可以基于mongodb来持久存储文件.并且支持分布式应用(文件分布存储和读取). 使用场景:如果你的系统有如下情景 1) 有大量的上传图片(用户上传或者系统本身的文件发...
2013-04-15 10:10:00
88
转载 GridFS详细分析
GridFS简介 GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件。 http://www.mongodb.org/display/DOCS/GridFS http://www.mongodb.org/display/DOCS/GridFS+Specif...
2013-04-15 10:02:00
118
转载 MongoDB Sharding实验
设置Sharding环境 使用simple-setup.py，修改 BASE_DATA_PATH='./data/db/sharding/' 注意因为没有使用os.path.expanduser，需要绝对路径或相对路径，不能使用用户路径~，否则会在当前目录创建。 ...
2013-04-14 23:41:00
173
转载 Python抓取框架 Scrapy 的架构分析
最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。 一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿...
2013-04-09 22:06:00
99
转载 scrapy实战之定向抓取某网店商品资料
网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新...
2013-04-09 22:04:00
97
转载 Real-Time Graphing With Graphite
If you’re building a web-based app, it’s always a good idea to build some instrumentation into your app. That way, you can see how your app is beh...
2013-04-09 21:23:00
121
转载 互联网网站的反爬虫策略浅析
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。 ...
2013-04-01 20:03:00
91
转载 ubuntu 清除dns缓存
如果系统下有nscd，那么就直接 sudo /etc/init.d/nscd restart 如果没有也没关系，网上接受的方法大都是 sudo aptitude install nscdsudo /etc/init.d/nscd restart 其实我们也可以直接 su...
2013-04-01 08:09:00
164
转载 TWISTED - HELLO, ASYNCHRONOUS PROGRAMMING
TWISTED - HELLO, ASYNCHRONOUS PROGRAMMING byjesseinProgramming,pycon 2009,Python Note:This is...
2013-03-29 14:32:00
287
转载 通过日志分析搜索引擎蜘蛛爬虫的行为
简要说明 做好百度和谷歌优化的第一步就是蜘蛛的抓取，下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。这里请首先看看日志大小，如果很大(超过50M)建议别用这些命令分析，因为这些命令很消耗CPU，或者抓下来放到分析机上执行，以免影响网站的速度。这些命令都是Linux下的shell命...
2013-03-25 17:07:00
535
转载 Eclipse开发andrioid常用快捷键
熟悉eclipse开发android的一些快捷键，能很大的提高效率，分享在下面： Ctrl+1 快速修复(最经典的快捷键,就不用多说了) Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加) Ctrl+Alt+↑ 复制当前行到上一行...
2013-03-25 17:01:00
89
转载 Zope组件架构和接口
原文出处：The Zope Component Architecture - Interfaces, Adaptation, and Duck Typing 原文作者： Griddle Noise 授权许可：创作共用协议 翻译人员：FireHare 校对人员：Leal...
2013-03-25 14:23:00
374
转载 浅谈计算机技术学习之路
本人学习计算机技术将近两年了，谈一谈这一年多中，我对学习技术的一些收获! 先来谈谈学习技术的心态： 第一、学习技术一定要沉得住心，心浮气躁的人一定学不好，因为很多东西只有心静了，才能琢磨透； 第二、学任何技术都不要简单的浮于表...
2013-03-22 13:48:00
97
转载 快速构建实时抓取集群
定义： 首先，我们定义一下定向抓取，定向抓取是一种特定的抓取需求，目标站点是已知的，站点的页面是已知的。本文的介绍里面，主要是侧重于如何快速构建一个实时的抓取系统，并不包含通用意义上的比如链接分析，站点发现等等特性。 在本文提到的实例系统里面，主要...
2013-03-22 13:13:00
64
转载 什么是垂直搜索引擎？
垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。 垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构...
2013-03-11 09:59:00
146
转载 垂直搜索引擎初探
搜索引擎的出现，整合了互联网上众多的网页资源，并提供信息导航和信息查询服务， 使信息的价值得到了网民和厂商的普遍认可。但是，搜索引擎的发展格局是多方面的，市场 需求的多元化也导致了搜索引擎的行业化和细分化，从而“垂直搜索引擎”成为了搜索引擎 发展的必然趋势之一。 一般认为：垂直搜索引擎...
2013-03-11 07:53:00
118
转载 分享一下我的django中settings的LOGGING的配置
LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'formatters': { 'simple': { 'format': '%(levelname)s %...
2013-03-11 07:04:00
202
转载 JS闭包的理解
先从闭包特点解释,应该更好理解. 闭包的两个特点： 1、作为一个函数变量的一个引用 - 当函数返回时，其处于激活状态。 2、一个闭包就是当一个函数返回时，一个没有释放资源的栈区。 其实上面两点可以合成一点,就是闭包函数返回时,该函数内部变量处于激活状...
2012-09-27 08:11:00
65
转载 pymongo 根据 _id删除documents
删除单条数据: db.user.remove(spec_or_id={"_id":ObjectId('5050457a1308122ec272d24c')},safe=True) 注意在这之前一定要导入ObjectId类： from bson.objectid impor...
2012-09-19 07:45:00
251
转载 pymongo remove之safe（如何检查删除是否成功）
pymongo remove之safe（如何检查删除是否成功） # 删除一个条件不成立的查询，返回结果{u'err': None, u'n': 0L, u'ok': 1.0}，其中dict中‘n’key值为0，通过'n'可以知道remove是否删除成功 In [25]:...
2012-09-19 07:38:00
482
转载 jQuery事件处理: 别再乱用“return false”了
可能在你刚开始学习关于jQuery事件处理时，看到的第一个例子就是关于如何阻止浏览器执行默认行为，比如下面这段演示click事件的代码： view plain copy to clipboard print ? $("...
2012-09-18 16:37:00
80
转载 关于学习linux的一些心得体会
昨天一个学弟问我怎么学好linux，就思考了一下，做下总结，欢迎大家补充！！！（他还让我给他补linux课，表示很蛋疼。。。。） 学习linux之前必须要做好心理准备： 第一，要明白学好linux不是一件一蹴而就的事，一定要能坚持使用它，特别是在使用初期，由于在linux...
2012-09-14 09:04:00
179
转载 Pydoop 架构和模块包介绍
1. 背景 Hadoop支持Java以及C/C++开发，其中Hadoop Pipes(C++)支持MapReduce，而Hadoop libhdfs(C)支持HDFS的访问。但Python的解决方案仅能支持Hadoop部分功能，具体如下。 Hadoop Streaming：1....
2012-09-13 22:37:00
135
转载 Google Maps API 申请方式变更
简介：近日Google已变更其Maps API的申请方式，改由所谓的「APIs Console」进行所有API的管理。 近日Google已变更其Maps API的申请方式，若您现在透过早先的方法申请API Key应该会得到底下的讯息画面。 Googl...
2012-09-13 10:35:00
58
转载 MongoDB索引实战技巧
本文内容源自Kyle Banker的MongoDBIn Action一书。主要描述了MongoDB索引相关的一些基础知识和使用技巧。 索引类型 虽然MongoDB的索引在存储结构上都是一样的，但是根据不同的应用层需求，还是分成了唯一索引（unique）、稀疏索引（sparse）、多值...
2012-09-12 13:30:00
66
转载 MySQL和MongoDB设计实例对比
本文转载自火丁笔记，文章举了一个数据库设计的例子，对MySQL和MongoDB两种存储工具，分别进行了数据库结构设计，在MongoDB的设计上，利用了MongoDB的schema-free的特性。 虽然文中的例子不一定是最优的选择。但分享此文，希望提醒大家，换个存储，不仅是换一个存储，更重...
2012-09-12 13:25:00
77
转载 文档型数据库设计模式-如何存储树形数据
在数据库中存储树形结构的数据，这是一个非常普遍的需求，典型的比如论坛系统的版块关系。在传统的关系型数据库中，就已经产生了各种解决方案。 此文以存储树形结构数据为需求，分别描述了利用关系型数据库和文档型数据库作为存储的几种设计模式。 A.关系型数据库设计模式1 id...
2012-09-12 13:18:00
107
转载 MongoDB故障集锦
1.old lock file, terminating 详细异常：exception in initAndListen: 12596 old lock file, terminating 引发原因：关闭Mongodb前，未释放锁，导致重启时失败 解决方案：删除data目录下的mongo...
2012-09-11 21:37:00
77
转载 mongodb使用技巧
mongodb的日志文件都在 /var/log/mongodb/mongodb.log中，要学会查询此处判断是除了什么错误! mongodb的配置信息在/etc/mongodb.conf中; 查看mongodb server是否运行:sudo status mongodb ...
2012-09-11 21:13:00
74
转载 [深度分析] Python Web 开发框架 Bottle（作者 @Sunng）
Bottle是一个非常精致的WSGI框架，它提供了 Python Web开发中需要的基本支持：URL路由，Request/Response对象封装，模板支持，与WSGI服务器集成支持。整个框架的全部代码约有 2000行，它的核心部分没有其他任何依赖，只要有Python环境就可以运行。 Bot...
2012-09-08 10:07:00
87
转载 HTTP基本认证
在HTTP中，基本认证是一种用来允许Web浏览器，或其他客户端程序在请求时提供以用户名和口令形式的凭证。 在发送之前，用户名追加一个冒号然后串接上口令。得出的结果字符串再用Base64算法编码。例如，用户名是Aladdin，口令是open sesame，拼接后的结果是Aladdin:open...
2012-09-08 06:40:00
69
转载 CGI脚本
新的网站设计人员在建立网站之后经常问到一个问题就是：“什么是CGI脚本，如何在我的网站上使用它？”或“如何在我的网站上创建交互式表单？”。 在本文中，我们将回答有关CGI脚本的问题，并演示如何创建自己的脚本。 在此过程中，您还将了解有关Web服务器的一些知识。让我们开始吧！ CGI脚...
2012-09-07 19:22:00
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人