- 博客(212)
- 收藏
- 关注
RSS订阅
转载 python 抓取, 根据cookie
#coding=utf8import urllib2import re"""Login to Sina Weibo with cookie"""COOKIE = '' #fill with your weibo.com cookieHEADERS = {"cookie": COOKIE}def test_login(): url = 'http://weibo.co
2013-05-01 15:52:32
1001
原创 firefox的插件--xpath解析网页用
一直想把自己这段时间做的东西整理下，确迟迟没有动手，现在信息抽取工作已经做的差不多，把自己感觉很好用的两个工具介绍给大家吧！ Firefox真是一个好东西，它许多插件。本人是很讨厌插件的，每次电脑里都会安装一大堆无用的插件，看着心里不爽。由于项目需要，要看网页的代码，并且找到有用信息，如果下载一个html页面，用记事本打开看，那无异于是一场灾难，幸好同事给我推荐了firebug这个看代码
2013-04-26 18:33:40
1487
原创 Beautiful Soup 4解析网页
Beautiful Soup 4的安装及相关问题Beautiful Soup的最新版本是4.1.1可以在此获取（http://www.crummy.com/software/BeautifulSoup/bs4/download/） 文档：（http://www.crummy.com/software/BeautifulSoup/bs4/doc/） 使
2013-04-15 19:22:26
1319
原创 python爬虫
用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写google music的抓取脚本的，结果有了强大的gmbox，也就不用写了。-这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simplecd这个半爬虫半网站的项目，累积不少爬虫抓站的经验，在此总结一下，
2013-04-10 23:12:02
941
原创 增强closetag自动闭合功能
好吧，我原来只想换了vim以后，开始学习HTML5的，但是配置vim插件的时候，遇到一些问题。找了好几个类似closetag的插件，要不然就是不是很好用，要不然就是和其他插件有那么点小冲突。最后还是决定自己增强一下。 选的closetag插件是http://www.vim.org/scripts/script.php?script_id=13 ，它默认支持的close行为是按ctr
2012-11-30 19:58:00
3390
原创 vim的配置
起因是有些初学者常常问到vim，gvim要怎么配置才可以成为一个正式的开发环境。貌似这些天很多人问道这个问题。我就把基本的配置发一下，最近比较 忙。由于本人自己只是使用c/c++,ruby，Mozilla平台，所以其他语言或是开发平台倒是没有思考的很多 插件和独立程序c.vimvalgrind.vimtaglistMiniBufExplorerGrepomn
2012-11-30 19:47:51
595
原创 vi对比两个文件
使用方法：1：使用vim -d file1 file2 直接打开两个文件对比 或：使用vim file1打开第一个文件，然后使用vert diffsplit file2打开第二个文件进行对比； （vert表示垂直分割窗口，默认为水平分割窗口）2：直接对比两个文件的不同：使用diffthis分别在两个窗口输入；3：其他技巧： 3.1：定位不同点：[c、]
2012-11-30 17:03:52
2366
原创 VIM分屏功能
本篇文章主要教你如何使用 Vim 分屏功能 分屏启动Vim使用大写的o参数来上下分屏。vim -on file1 file2 ...使用小写的O参数来左右分屏。vim -On file1 file2 ...注释: n是数字，表示分成几个屏。关闭分屏 关闭当前窗口。Ctrl+W c关闭当前窗口，如果只剩最
2012-11-30 16:51:50
435
原创 ruby web环境的搭建
在Linux平台上安装和配置Ruby on Rails详解 ruby on rails推荐的生产运行环境是Linux/FreeBSD/Unix，即Unix系列的操作系统，采用lighttpd＋FCGI的解决方案。以下我将以Linux操作系统，lighttpd＋FCGI，MySQL数据库为例，从源代码编译安装开始讲解。 在安装之前，应该确认Linux操作系统已经安装好gcc编译器，否
2012-11-19 15:13:31
612
原创 ruby/rails
还是先做个广告： http://hisea.me/p/ruby-rails-book-list-and-review开始早就相对现在Ruby/Rails的书做个总结。方便对Rails感兴趣的朋友查找。因为ruby on rails的书时效性很强，Ruby语言2007之前跟Rails两年以前的书都没加在这个列表里。有些特殊的跟设计相关的书例外。Ruby:
2012-11-19 14:54:24
497
转载 pplive的试题
1、假设一个客户，他的手机中存放有全中国人民的手机号，他的手机通信录顺序很乱而且里面可能有些重复了，现在客户想让我们设计一个程序，帮他把通讯录整理一下，删除重复手机号，说机上能利用的内存只有10M，但是有无限大的硬盘，请给出设计思路，并评估算法性能。2、有一组数字，如14,26,5,30,0，-2,108，和一个给定的整数a，是否存在其中一个或几个，它们的和等于a。请实现方法int fin
2012-11-19 11:27:09
522
原创 朗道势垒
苏联物理学家诺贝尔奖得主列夫.朗道编了一套《朗道理论物理学教程》，共十卷，难度极大。凡是要读朗道的研究生的人，都必须把十卷书里所有的习题都做出来，最后还得来一场朗道亲自出的范围极广极深的考试。由于此路如此崎岖，故他的学生们都将此过程成为朗道势垒。突破了朗道势垒，犹如突破了第一宇宙速度，就可遨游于物理之天空，算是一流物理学家了。菜鸟不那么容易变成牛人，因为我相信编程领域也必定存在着所谓的朗道
2012-11-13 22:08:23
3361
原创 shell空格作用
1:定义变量时, =号的两边不可以留空格.eg:gender=femal------------rightgender =femal-----------wronggender= femal-----------wrong2条件测试语句 [ 符号的两边都要留空格.eg:if [ $gender = femal ]; then-------right.
2012-11-07 14:41:56
624
原创 linux命令用法
1. mail命令mail -s test yangfang@fudan.edu.cn #第一种方法，你可以把当前shell当成编辑器来用，编辑完内容后Ctrl-D结束echo “mail content”|mail -s test yangfang@fudan.edu.cn #第二种方法，我用的最多，可能是喜欢管道的缘故吧mail -s test yangfang@f
2012-11-04 17:39:45
410
原创 Cherokee
Cherokee 号称是目前最快的 Web 服务器软件，在性能上，甚至比 Nginx 还略胜一筹。与 Apache、Lighttpd、Nginx 等其他同类软件的对比，大家不妨看看这个测试页面。其易用性做得也很不错。 Cherokee 的功能包括支持 FastCGI、SCGI、PHP、CGI、TLS 及 SSL 加密连接，虚拟主机，授权认证，实时编码，载入均衡，与 Apache
2012-07-22 19:35:31
517
原创 facebook技术架构
根据我现有的阅读和谈话，我所理解的今天Facebook的架构如下：Web 前端是由 PHP 写的。Facebook 的 HipHop [1] 会把PHP转成 C++ 并用 g++编译，这样就可以为模板和Web逻贺业务层提供高的性能。业务逻辑以Service的形式存在，其使用Thrift [2]。这些Service根据需求的不同由PHP，C++或Java实现（也可以用到了其它的一
2012-07-22 18:39:12
860
原创 Openresty作者访谈
关于开源访谈开源访谈是开源中国推出的一系列针对国内优秀开源软件作者的访谈，以文字的方式记录并传播。我们希望开源访谈能全面的展现国内开源软件、开源软件作者的现状，着实推动国内开源软件的应用与发展。【嘉宾简介】章亦春 现任 CloudFare 系统工程师，主要是 Nginx 和 OpenResty 开发，是一名快乐的程序员，现定居美国旧金山。曾经在北京的时候供职
2012-07-11 18:15:43
3858
1
原创 python在豆瓣的使用
在4月23日至25日召开的QCon Beijing 2010大会上，来自豆瓣网的洪强宁为与会开发者分享了Python语言用于Web 2.0网站开发的经验。豆瓣网从开发初期，便选用Python作为主要的网站构建语言，同时Python也是目前豆瓣网使用最广泛，基础最深厚的语言。作为豆瓣网首席架构师，洪强宁和他带领的技术团队在网站开发过程中，在Python语言使用方面积累了大量经验，同时在网站架构、
2012-07-10 09:22:42
1449
原创 淘宝TFS
目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。最近，淘宝核心系统团队工程师楚材（李震）在其官方博客上撰文（《TFS简介》，以下简称文章）简要介绍了TFS系统的基本情况，引起了社区的关
2012-07-10 09:21:58
1282
原创 利用nginx实现文件上传和进度条功能
最近做一个产品，需要实现从网页上传文件给服务器。一般情况下都是采用Ajax异步方式，创建一个iframe，在iframe里面把数据以form方式提交给后端的服务器脚本，由服务器脚本（比如PHP）来负责接收上传的数据。这种方式存在性能和效率的问题。所以，决定采用Nginx的上传模块来完成接收数据的功能，接收完数据后，再去转给后端脚本语言进行后续处理（比如：移动文件、插入文件的信息到数据库中）。同时，
2012-07-10 09:20:35
3520
原创 利用python自带的包, 快速建立一个web服务器
利用Python自带的包可以建立简单的web服务器。在DOS里cd到准备做服务器根目录的路径下，输入命令：python -m Web服务器模块 [端口号，默认8000]例如：python -m SimpleHTTPServer 8080然后就可以在浏览器中输入http://localhost:端口号/路径来访问服务器资源。 例如：http://l
2012-06-26 16:34:41
580
原创 HTTP Server开发相关学习资料整理推介
本文整理了我在学习过程中接触到的一些与HTTP Server有关的资料、文章及书籍，在这里分享给大家，希望对大家有所帮助。 RFC及标准性文档 RFC2616 - Hypertext Transfer Protocol — HTTP/1.1 HTTP协议标准文档，所有从事HTTP相关开发的人员必备参考资料，建议仔细研读。 RFC793 - TRANSMI
2012-06-21 09:25:22
555
原创 知乎的技术方案
知乎的整个网站架构图如下： 知乎是国内很少的使用Python开发的一个网站，也很多值得我们学习的地方，从知乎让我们也可以了解到一些新的WEB技术。 一、Python框架 知乎目前使用的是Tornado 框架。Tornado 全称Tornado Web Server，是一个用Python 语言写成的Web 服务器兼Web 应用框架，由 FriendFeed
2012-06-19 15:20:03
2072
原创 学习python的三本书
……如果你非要找一本可以捧在手上的书，那么一本好的 Python 书的标准是要么在广度上有建树要么就是深度。广度上来说，《Python编程金典》做得不错；深度上, 《python cookbook》和《可爱的 Python》系列文章比较好。……其实在那时，无论是《python编程金典》还是《python cookbook》都已经有点过时了，所以后来有人问我推荐几本 Python 书的时
2012-06-17 16:35:20
23153
1
原创 syslog的用法
许多应用程序需要记录它们的活动。系统程序经常需要向控制台或日志文件写消息。这些消息可能指示错误、警告或是与系统状态有关的一般信息。例如，su程序会把某个用户尝试得到超级用户权限但失败的事实记录下来。通常这些日志信息被记录在系统文件中，而这些系统文件又被保存在专用于此目的的目录中。它可能是/usr/adm或/var/log目录。对一个典型的Linux安装来说，文件 /var/log/messag
2012-06-12 20:24:48
647
原创 XML解析
C++的XML编程经验――LIBXML2库使用指南写这篇文章的原因有如下几点：1)C++标准库中没有操作XML的方法，用C++操作XML文件必须熟悉一种函数库，LIBXML2是其中一种很优秀的XML库，而且它同时支持多种编程语言；2)LIBXML2库的Tutorial写得不太好，尤其是编码转换的部分，不适用于中文编码的转换；3)网上的大多数关于Libxml2的介绍仅仅是翻译了自带的资料，没
2012-06-07 17:48:28
502
原创 豆瓣的技术概要
1. Web网站一般会有很多对IO的操作，比如对数据库的访问，对硬盘的访问响应用户的请求，80%，90%你的时间都花在IO上，语言的速度，相对而言，不是那么重要。 2. 在豆瓣上所有的html都是动态内容，图片都是静态内容。分成两个Web 服务可以做不同的调优。对动态内容，我们用的是nginx和lighttpd的混合，nginx做负载的平衡，lighttpd通过 SCGi 与app
2012-06-06 19:58:32
490
原创 用ImageMagick/MagickWand在图片上添加文字
要求很简单，在图片上添加文字最后通过ImageMagick实现了(WagicWand是它的C的API)。代码如下. 其实不算复杂，就是中文的处理调了一阵。#include "stdafx.h"#include #include #include #include #include "windows.h"#include int main(in
2012-06-05 20:26:37
2581
原创 使用Python将文本转为图片
有时候，我们需要将文本转换为图片，比如发长微博，或者不想让人轻易复制我们的文本内容等时候。目前类似的工具已经有了不少，不过我觉得用得都不是很趁手，于是便自己尝试实现了一个。你可以先访问一下查看效果：txt2.im 。 在 Python 中，PIL (Python Imaging Library) 是最常用的绘图库，自然地，尝试从 PIL 开始。 1、使用 PIL 将
2012-06-05 20:25:59
8987
1
原创 ImageMagick中文使用手册——复合字体效果
绘制文本仅仅是ImageMagick神奇之旅的开始。在这里，我们一起来看看IM最基本的文本绘图操作，包括创建花哨的字体和特效，然后你就可以在你的网页和文件中使用了。 复合字体效果 用朴素简单的文本来作为图像是非常无趣的，但是通过很少的工作对文本进行覆盖和染色，就可以产生一些很漂亮和奇妙的效果。 想要做到这一点，我们需要对文本进行多次绘制操作、覆盖不同的颜色、
2012-06-02 19:07:42
5553
原创 让PIL生成的字带有描边效果
Python里最著名的图像处理库当然是PIL（Python Image Library）。相对于ImageMagick，PIL更加简洁，并且拥有还算良好的文档。这是一篇介绍如何在PIL中对字体描边的文章，源于我一次真实的需求解决过程。我们知道，在PIL中，我们只要使用ImageDraw的text方法就可以在一个Image对象上的指定位置写下字。现在我希望写出的字带有描边效果，仔细研究Ima
2012-06-02 18:49:01
5835
2
原创 训练口才
十大口才训练方法之一：持之以恒。 口才训练不是一朝一夕的事情。如果你下定决心要提高自己的口才，就要每天抽出三四十分钟进行口才训练。每星期还要和其他口才好的人多交流。许多名人和成功人士的口才训练经验表明，时间与坚持是口才培养的不二法则。 十大口才训练方法之二：朗读与绕口令训练。 随便拿出报刊、杂志进行朗读训练，要求：最大声，最清晰，最快速地进行朗读
2012-05-27 21:45:15
1267
原创 nginx的rewrite机制
在使用nginx重写(即rewrite)机制时，大家一般会用到last和break，关于这两个指令的作用，网友问的挺多，网上的讨论也挺多，这里做个总结：网友的给力解释：last： 重新将rewrite后的地址在server标签中执行break： 将rewrite后的地址在当前location标签中执行nginx官方解释：last：
2012-05-27 20:43:50
830
原创 新建网站方式
“云时代”solo模式的网站创建以往大部分的创业者，在前期资金紧张、人力缺乏的情况下，很难去建设一个高速、稳定、美观的产品网站。云时代的到来，将很多在以前遥不可及的服务，逐步以近乎免费的形式提供给个人用户。笔者将苦逼的经历整理了一下，来描述如何用“云”，快速创建产品网站。希望能给刚刚起步的苦逼的创业者一些帮助。1、 家喻户晓的域名：怎么家喻户
2012-05-27 13:12:10
979
2
原创 云存储类服务的列表
整理了下云存储类服务的列表：国内的阿里OSS http://oss.aliyun.com/盛大云存储 http://www.grandcloud.cn/product/ecseczloud云存储 http://ezcloud.cn/product/storage.html百度BCS http://dev.baidu.com/wiki/bcs/index.php又拍
2012-05-25 17:18:40
1231
原创 nginx+keepalive
在lnmp架构中，通常一台装有nginx服务器做反向代理服务器，又做内网的路由。在这台服务器上绑有一个公网ip和一个内网ip.我们把域名解析到这个公网ip上，让nginx代理到后端的web服务器上，这样我们就可以访问到我们的站点，与此同时必须让内网访问外网。这台反向代理服务器又需要做内网的路由。这台服务器，在整个应用架构中相当重要。下面我来阐述一下nginx+keepalived双机实现nginx
2012-05-24 15:28:47
861
原创 nginx屏蔽无效请求方式
upstream tomcat {02ip_hash;03server 192.168.2.187:8080;04}05 06location ~*
2012-05-24 15:05:47
5008
原创 http的post请求
如今使用HTTP协议定制API已经是十分常见的事情，在普通的GET和POST请求中传递些参数估计人人都会，但是如果我们需要上传文件呢？如果只是传递单个文件，那么将数据流POST给服务器端即可。但如果需要上传多个文件，或是在文件之外需要附带一些信息，那么又该怎么做呢？之前我遇到过一些朋友是这么打算的，他们说，不如就把文件流转化为文本，然后把它当作一个普通的字段传递。这么做自然可以“实现功能”，但缺点
2012-05-23 11:32:48
596
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人