2012年12月_行走江湖

转载 mysql limit 用法

1. select * from tablename limit 100,15从100条记录后开始取15条 (实际取取的是第101-115条数据)2. select * from tablename limit 100,-1从第100条后开始-最后一条的记录3. select * from tablename limit 15相当于limit 0,15

2012-12-20 15:59:01 355

转载 PHP 从数据库Mysql中读取数据生成excel(解决乱码问题，解决中文变问号问题)

有时候直接用php导出excel会有乱码或者中文变成问号出现，这时候肯定就是编码的问题了。前后前后环境MySQL 5.0 数据库 utf8_general_ci 编码PHP UTF8 编码需要注意的问题1. 从数据库读取出来的数据是否乱码？[php] view plainc

2012-12-20 14:42:53 1781 1

转载 utf8 和 UTF-8 有什么区别

“UTF-8”是标准写法，在Windows下边英文不区分大小写，所以也可以写成“utf-8”。“UTF-8”也可以把中间的“-”省略，写成“UTF8”。一般程序都能识别，但也有例外（如下文），为了严格一点，最好用标准的大写“UTF-8”。在MySQL数据库中只能使用“utf8”　　在MySQL的命令模式中只能使用“utf8”，不能使用“utf-8”，也就是说在PHP程序中只能使用“

2012-12-20 14:39:27 420

转载 mysql alter 语句用法,添加、修改、删除字段等

//主键549830479 alter table tabelname add new_field_id int(5) unsigned default 0 not null auto_increment ,add primary key (new_field_id);//增加一个新列549830479 alter table t2 add d timestamp;alt

2012-12-19 11:40:18 419

转载 python - 如何通过GMail发送邮件：smtplib的使用

神马事SMTP？百科名片SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。SMTP协议属于TCP/IP协议族，它帮助每台计算机在发送或中转信件时找到下一个目的地。通过SMTP协议所指定的服务器,就可以把E－mail寄到收信人的服务器上了，整个过程只要几分钟。SMT

2012-12-18 22:27:29 1106

转载 php数据库导出类导出JSON,XML,WORD,EXCEL

数据库信息导出：word，excel，json，xml，sql 数据库恢复：从sql，从文件具体用法:首先新建测试用数据库mytest，然后在里面建张表 PHP代码:以下是代码片段：-- -- 表的结构 `test` -- CREATE TABLE `test` ( `id` int(11) NOT NULL aut

2012-12-12 11:32:47 692

转载 scrapy模拟登录新浪微博

hi:　　all, scrapy搞模拟登录真的很简单哦，以下均是在你安装scrapy成功的前提下哦.　　首先，分析新浪微薄的登录流程,使用抓包工具得到下面的图片:一般来说，登录主要就是对服务器进行post数据过去，如果对方有验证码，需要验证码识别之类的东西，那是计算机图形学干的事，scrapy干不了，而新浪微博比较特别，首先大家应该清楚，新浪是个大公司，不会那么简单

2012-12-09 16:51:31 1487

转载 Shell日期时间命令date

date命令的功能是显示或者设置系统的日期和时间。其中，显示日期和时间的命令格式为：date \[选项\] \[+FormatString\]设置日期和时间的命令格式为：date没有参数的date命令相当于命令“date +%a%b%e%H:%M:%S%Z%Y”。如果date命令有以“+”开始的参数，那么date命令将以该参数指定的格式显示当前日期和时间，或者显示选项–date指定的日期和时间。

2012-12-06 15:45:37 989

转载 wordpress 分页的三种方法:自带分页代码和wp-pagenavi,PageBar插件

首先,在我们用到插件来实现wordpress分页功能时,我们可以先尝试wordpress自带的分页代码来满足自己的需要,毕竟启用插件或多或少的会影响网页速度第一种方法:单点日志spoint.babyshoot.cn因此先来提下wordpress自带的分页代码,这些只能满足上一页及下一页的功能:在你需要的地方插入如下代码:/">HOME | Top

2012-12-06 13:43:24 16369

转载 Scrapy爬虫教程之URL解析与递归爬取

前面介绍了Scrapy如何实现一个最简单的爬虫，但是这个Demo里只是对一个页面进行了抓取。在实际应用中，爬虫一个重要功能是”发现新页面”，然后递归的让爬取操作进行下去。发现新页面的方法很简单，我们首先定义一个爬虫的入口URL地址，比如《Scrapy入门教程》中的start_urls，爬虫首先将这个页面的内容抓取之后，解析其内容，将所有的链接地址提取出来。这个提取的过程是很简单的，通过一个

2012-12-05 09:54:09 5103

转载 XPath 简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 同时被构建于 XPath 表达之上。因此，对 XPath 的理解是很多高级 XML 应用的基础。其实对些我们并不陌生,最与XPath相似的便是CSS的选择器.在CSS中使用CSS选择符选择元素来应

2012-12-04 20:17:34 735

转载使用scrapy爬取整站图片

scrapy是简单易用的爬虫框架，python语言实现。具体去官网看看吧：http://scrapy.org/之前想抓一些图片制作拼贴马赛克（见拼贴马赛克算法），没有找到顺手的爬虫软件，就自己diy一个。使用scrapy抓取非常简单，因为它居然内置了图片抓取的管道 ImagesPipeline。简单到几行代码就可以搞定一个图片爬虫。scrapy的使用更ruby有点儿类似，创建一个

2012-12-04 19:56:41 4099

转载使用 Scrapy （Part I）

scrapy 是一个高级的网页内容抓取工具，主要用来自动化访问网页并程序化提取其中对用户有用的内容。scrapy 构建于流行的 python 异步框架 twisted 之上，利用该框架的特点达到抓取的高效率，但其面向用户的接口则是完全经过封装并与普通 python 代码写法并无二致的，因此不熟悉 twisted 的用户也不用担心。安装由于 scrapy 是一个 python p

2012-12-03 22:07:21 2481 2

转载【python】【scrapy】使用方法概要（四）

【请初学者作为参考，不建议高手看这个浪费时间】上一篇文章，我们抓取到了一大批代理ip，本篇文章介绍如何实现downloaderMiddleware，达到随即使用代理ip对目标网站进行抓取的。抓取的目标网站是现在炙手可热的旅游网站 www.qunar.com, 目标信息是qunar的所有seo页面，及页面的seo相关信息。qunar并没有一般网站具有的 r

2012-12-03 22:00:31 943

转载【python】【scrapy】使用方法概要（二）

上一篇文章里介绍了scrapy的主要优点及linux下的安装方式，此篇文章将简要介绍scrapy的爬取过程，本文大部分内容源于scrapy文档，翻译并加上了笔者自己的理解。忘记scrapy，一般所说的爬虫工作分为两个部分，downoader 和 parser：downloader输入是url列表，输出抓取到的rawdata，可能时候是html源代码，也可能是json，xm

2012-12-03 21:59:37 1049

转载【python】【scrapy】使用方法概要（三）

前两篇大概讲述了scrapy的安装及工作流程。这篇文章主要以一个实例来介绍scrapy的开发流程，本想以教程自带的dirbot作为例子，但感觉大家应该最先都尝试过这个示例，应该都很熟悉，这里不赘述，所以，将用笔者自己第一个较为完整的抓取程序作为示例作为讲解。首先，要大规模抓取一个网站的内容，必要的资源便是代理ip这一资源，如果不使用代理ip，又追求抓取的速度，很可能会被被抓网站发

2012-12-03 21:58:46 1208

转载【python】【scrapy】使用方法概要（一）

工作中经常会有这种需求，需要抓取互联网上的数据。笔者就经常遇到这种需求，一般情况下会临时写个抓取程序，但是每次遇到这种需求的时候，都几乎要重头写，特别是面临需要抓取大数量网页，并且被抓取网站有放抓取机制的时候，处理起来就会很麻烦。无意中接触到了一个开源的抓取框架scrapy，按照introduction做了第一个dirbot爬虫，觉得很方便，就小小研究了一下，并在工作中用到过几次。

2012-12-03 21:58:05 880

转载 linux下为程序创建启动和关闭的的sh文件，scrapyd为例

对于一些未提供service管理的程序每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件下面以scrapy启动server为例，文件名为run.sh： Python代码 #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrap

2012-12-03 20:40:09 2234

原创 centos安装scrapy

centos安装scrapywget -c http://www.python.org/ftp/python/2.6.5/Python-2.6.5.tar.bz2tar jxvf Python-2.6.5.tar.bz2cd Python-2.6.5./configure -prefix=/usr/local/python2.6make && make install

2012-12-03 17:45:16 1088

转载程序员接私活经验谈[转]

正文：（一）项目确立一年前，CSDN的外包频道，一家贸易公司寻求开发业务系统。我注意到这家公司和我正好在一个城市，索性就跟了一帖，写了点简要的个人开发情况，当然最重要的是附上了自己的手机号码（当时CSDN外包频道还不限制这个信息的）。第二天就接到那家公司总经理的电话，这让我多少有点意外，电话中，双方客套两句后，约定好周末面谈。和以往面试一样，我带上个笔记本（上面有以往开发的项目演示

2012-12-03 17:16:44 888

转载 Scrapy入门教程

在这篇入门教程中，我们假定你已经安装了Scrapy。如果你还没有安装，那么请参考安装指南。我们将使用开放目录项目(dmoz)作为抓取的例子。这篇入门教程将引导你完成如下任务：创建一个新的Scrapy项目定义提取的Item写一个Spider用来爬行站点，并提取Items写一个Item Pipeline用来存储提取出的ItemsScrapy是由Python编写的。如果你

2012-12-03 17:15:03 490

转载 Mysql 中null与空字符串陷进

前阵子在更新数据库时候碰见一个新增表的语句，发现插入的空值自动填充的值，很是费解，下面我们先来说说案例，以下是模仿的测试：首先创建一个表：create table ceshi(ID INT ,createDate TimesTamp );包含2个字段，id为int类型，createDate为TimesTamp类型，现在往这个表中插入一条数据，其中createDate类型插入一个空值

2012-12-03 12:08:41 406

转载 114啦源码之工具箱、名站切换栏修改

经过两天的修改终于完成了114啦工具箱与百事通工具箱的替换，这里注明了是修改，我没那技术自己编写。所以有不足之处还望谅解！我用的是百事通工具箱，由于时间原因只是简单的修改了一下，如果不想麻烦的话，拿走之后只要把版权信息，广告代码等稍作修改就可以用了，如果觉得不是那么完美的话，也可以自行大幅度修改！下面说下我所修改的地方：一，去掉了广告JS调用，改为直接在页面添加广告代码。二，去掉了几个

2012-12-02 14:27:17 1364

转载如何让自己的网站加入到各大搜索引擎

刚新建不知道怎样就能够在百度里面或其它搜索引擎搜索到我的网站呢？怎么样就可以加入到搜索里面，让别人搜到我的网站呀?呵呵，别急，往下看吧！这里以网站站点为例. 以下四款最常用的、也是非常有名的搜索引擎1.加入google在你的IE地址栏键入：http://www.google.com/intl/zh-CN/add_url.html 呵呵，请把你的网站地址输进去吧，

2012-12-02 13:07:19 2935

转载 Windows 平台的 Git 图形界面客户端

Windows 平台的 Git 图形界面客户端8/22/2009 9:42:31 PMgit的官方网站：http://git-scm.com/ 我的经验：1.必须同时安装msysqit以及TortoiseGit，不必分先后顺序 2.必须把msysqit安装目录C:/Program Files/Git/bin加到PATH环境变量之中，否则在gi

2012-12-01 19:39:52 585

转载 Git、Gitosis版本控制详细配置

Git是分布式的版本控制系统，实际上是不需要固定的服务器的,Git与svn的最大区别是，它的使用流程不需要联机，可以先将对代码的修改，评论，保存在本机。等上网之后，再实时推送过去。同时它创建分支与合并分支更容易，推送速度也更快。Gitosis则是方便通过Git与ssh架设中央服务器的软件。一、Linux下git安装配置1、yum安装yum install git git-svn

2012-12-01 19:14:35 3524 1

adermxl的专栏