Yelbosh的专栏

转载 提高sql查询速度

1、不要使用游标     2、规范化你的数据表     3、不要使用SELECT.   *     4、了解你将要对数据进行的操作     5、不要给“性别”列创建索引     6、使用事务     7、小心死锁     8、不要打开大的数据集     9、不要使用服务器端游标     10、使用参数查询     11、在程序编码时使用大数据量的数据库   

转载 SQLServer 中Case When的用法

Case具有两种格式。简单Case函数和Case搜索函数。--简单Case函数CASE sexWHEN '1' THEN '男'WHEN '2' THEN '女'ELSE '其他' END--Case搜索函数CASE WHEN sex = '1' THEN '男'WHEN sex = '2' THEN '女'ELSE '其他' END这两种方式，可以实现相同的功能。简单Cas

转载 SQL Server触发器创建、删除、修改、查看示例步骤

一﹕ 触发器是一种特殊的存储过程﹐它不能被显式地调用﹐而是在往表中插入记录﹑更新记录或者删除记录时被自动地激活。所以触发器可以用来实现对表实施复杂的完整性约`束。二﹕ SQL Server为每个触发器都创建了两个专用表﹕Inserted表和Deleted表。这两个表。一﹕ 触发器是一种特殊的存储过程﹐它不能被显式地调用﹐而是在往表中插入记录﹑更新记录或者删除记录时被自动地激活。所以

原创 浅谈设计模式在建安系统中的应用

东湖项目接近尾声，一直想写一下对于该系统设计的感悟，今天就在这里写一写吧。         首先，评价一个系统的好坏，在我的心里有三个标准：第一是可扩展性，我把它放在第一位，因为没有哪个项目是不需要不断修改的，这是事物客观发展的必然结果，因为从哲学上讲，事物的变化是一直发生着的，所以系统的不断扩展是真理客观决定的结果。第二是稳定性，当然如果你从用户的角度出发，这显然才是最重要的，不过谁让我们是

转载 解决python连接mysql，UTF-8乱码问题

1。 Python文件设置编码 utf-8 （文件前面加上 #encoding=UTF-8)    2。 MySQL数据库charset=utf8     3。 Python连接MySQL时加上参数 charset="utf8" 测试环境： CentOS 6.2 / MySQL-5.1 / python-2.6.6   (MySQL server 默认编码以及测试用数据库的编码都是

转载 设置Mysql字符集

数据库中中文乱码解决：设置server级,db级，table级使用的字符集为utf8。设置方法：查看mysql字符集状态：先使用客户端工具mysql登录： [plain] view plaincopymysql> status  --------------  mysql  Ver 14.14 Dist

转载 scrapy采集数据时为每个请求随机分配user-agent

通过这个方法可以每次请求更换不同的user-agent，防止网站根据user-agent屏蔽scrapy的蜘蛛首先将下面的代码添加到settings.py文件，替换默认的user-agent处理模块DOWNLOADER_MIDDLEWARES = {    'scraper.random_user_agent.Random

转载 用Scrapy抓取豆瓣小组数据（三)

接着上篇博客《用Scrapy抓取豆瓣小组数据（三)》，http://my.oschina.net/chengye/blog/124162处理抓取的数据我抓取了豆瓣一千多个小组的首页，获取的内容包括名称，成员数目，小组链接以及相关友情小组和推荐小组。Scrapy导出的数据格式可以是json/xml/csv等，我这边用了json格式，每个小组数据的格式如下：

转载 用Scrapy抓取豆瓣小组数据（二）

接着上篇博客《用Scrapy抓取豆瓣小组数据（一)》http://my.oschina.net/chengye/blog/124157在scrapy中怎么让Spider自动去抓取豆瓣小组页面1，引入Scrapy中的另一个预定义的蜘蛛CrawlSpider1from scrapy.contrib.spiders import CrawlSpid

转载 用Scrapy抓取豆瓣小组数据（一）

最近在coursera.org（在线学习平台）上学SNA（Social Network Analysis，社交网络分析）。有兴趣的同学可以去看一眼：https://class.coursera.org/sna-002/，课程讲的很有意思，等回头我上完全部课程打算再写下详细总结和思考。为什么要抓取豆瓣小组数据？  课程要做一个带编程的final project，大概内容就是自己找一个

转载 【scrapy】使用方法概要（四）(转)

【请初学者作为参考，不建议高手看这个浪费时间】 上一篇文章，我们抓取到了一大批代理ip，本篇文章介绍如何实现downloaderMiddleware，达到随即使用代理ip对目标网站进行抓取的。 抓取的目标网站是现在炙手可热的旅游网站 www.qunar.com, 目标信息是qunar的所有seo页面，及页面的seo相关信息。qunar并没有一般网站具有的 robots.txt文

转载 【scrapy】使用方法概要（三）(转)

请初学者作为参考，不建议高手看这个浪费时间】 前两篇大概讲述了scrapy的安装及工作流程。这篇文章主要以一个实例来介绍scrapy的开发流程，本想以教程自带的dirbot作为例子，但感觉大家应该最先都尝试过这个示例，应该都很熟悉，这里不赘述，所以，将用笔者自己第一个较为完整的抓取程序作为示例作为讲解。 首先，要大规模抓取一个网站的内容，必要的资源便是代理ip这一资源，如果不使用代

转载 Duplicate Elimination in Scrapy(转)

之前介绍 Scrapy 的时候提过 Spider Trap ，实际上，就算是正常的网络拓扑，也是很复杂的相互链接，虽然我当时给的那个例子对于我感兴趣的内容是可以有一个线性顺序依次爬下来的，但是这样的情况在真正的网络结构中通常是少之又少，一但链接网络出现环路，就无法进行拓扑排序而得出一个依次遍历的顺序了，所以 duplicate elimination 可以说是每一个 non-trivial 的

转载 scrapy缺省设置

BOT_NAME = ‘scrapybot’CLOSESPIDER_TIMEOUT = 0 CLOSESPIDER_PAGECOUNT = 0 CLOSESPIDER_ITEMCOUNT = 0 CLOSESPIDER_ERRORCOUNT = 0COMMANDS_MODULE = ”CONCURRENT_ITEMS = 100CONCURRENT_RE

转载 搜索引擎爬虫蜘蛛的User-Agent收集

百度爬虫    * Baiduspider+(+http://www.baidu.com/search/spider.htm”)google爬虫    * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)    * Googlebot/2.1 (+http://www.googleb

转载 web性能优化（三）反爬虫策略 [复制链接]

[文章作者：狂奔的鹿（陆松林）本文版本：v1.0  转载请注明原文链接：http://www.cnblogs.com/dynamiclu/]    反爬虫策略，表面上看似乎跟WEB系统优化没有关系，经过分析，发现该策略是可以归到WEB性能优化的系列之中。    通过分析apache日志发现，某系统40%的带宽和服务器资源都消耗在爬虫上，如果除去10%-15%搜索引擎的爬虫，做好反爬

转载 web性能优化（三）反爬虫策略 [复制链接]

转载 ubuntu下ATI/Intel双显卡切换的方法

装了ubuntu 12.04 32bit和win7 64bit双系统后，win7基本不用了，工作全部在win7下做。但是，存在一个问题：运行ubuntu时，笔记本过热。        由于笔记本是双显卡（HD5650和Intel I5 480集成显卡），所以怀疑是双显卡切换的问题，于是在ubuntu论坛上找到了相关帖子--《（ATI显卡菜鸟x86闭源帖---A鸟都去学雷锋）总结Ubuntu

转载 scrapy安装——Ubuntu

安装scrapy转自【http://blog.csdn.net/ljsbuct/article/details/7196048】方法一1. curl -s http://archive.scrapy.org/ubuntu/archive.key | sudo apt-key add -                 2.修改source.listsud

转载 Python文件夹与文件的操作

最近在写的程序频繁地与文件操作打交道，这块比较弱，还好在百度上找到一篇不错的文章，这是原文传送门，我对原文稍做了些改动。有关文件夹与文件的查找，删除等功能 在 os 模块中实现。使用时需先导入这个模块，导入的方法是:import os一、取得当前目录s = os.getcwd()# s 中保存的是当前目录(即文件夹)比如运行abc.py，那么

转载 Fiddler 教程

Fiddler是最强大最好用的Web调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置断点，甚至修改输入输出数据. 使用Fiddler无论对开发还是测试来说，都有很大的帮助。阅读目录Fiddler的基本介绍Fiddler的工作原理同类的其它工具Fiddler如何捕获Firefox的会话Firefox 中使用Fiddler插件Fiddler如何捕获H

转载 用scrapy进行网页抓取

最近用scrapy来进行网页抓取,对于pythoner来说它用起来非常方便,详细文档在这里:http://doc.scrapy.org/en/0.14/index.html要想利用scrapy来抓取网页信息,需要先新建一个工程,scrapy startproject myproject工程建立好后,会有一个myproject/myproject的子目录,里面有item.py(由于你

转载 scrapy抓取ajax请求的网页

在上一篇博客http://zhouxi2010.iteye.com/blog/1450177中介绍了用scrapy抓取网页,但是只能抓取普通html中的链接,对于ajax请求的网页却抓不到,但是实际应用中ajax请求又是十分普遍的,所以这里在记录下抓取ajax页面的方法.仍然是spiders/book.py:Java代码  class B

原创 python中使用urllib下载网站图片

在python中可以使用urllib方便的实现图片和flash下载,测试:import urllib  url = "http://www.udooo.com/cooperate/qq/images/081128/left.swf"  path = "c:/spider/left.swf"  data = urllib.urlopen(url).read()  f = fi

转载 SQL Server 查询性能优化——创建索引原则（一）

索引是什么？索引是提高查询性能的一个重要工具，索引就是把查询语句所需要的少量数据添加到索引分页中，这样访问数据时只要访问少数索引的分页就可以。但是索引对于提高查询性能也不是万能的，也不是建立越多的索引就越好。索引建少了，用WHERE子句找数据效率低，不利于查找数据。索引建多了，不利于新增、修改和删除等操作，因为做这些操作时，SQL SERVER除了要更新数据表本身，还要连带地立即更新所有的相关索引

转载 JS实现刷新iframe的方法

方案一:用iframe的name属性定位　　　　onclick="document.frames(ifrmname).location.reload()">　　或　　　　onclick="document.all.ifrmname.document.location.reload()">　　方案二:用iframe的id属性定位　　　　

转载 iframe里面的页面调用父窗口,左右窗口js函数的方法

iframe里面的页面调用父窗口,左右窗口js函数的方法 实现iframe内部页面直接调用该iframe所属父窗口自定义函数的方法。 比如有A窗口，A内有个IFRAME B，B里面的装载的是C页面，这时C要直接调用A里面的一个自定义函数AFUN();那么只要在C页面中写如下JS函数就可以了：window.parent.AFUN();如果AFUN()有参数也可以直接传递合适的参数

转载 js 中style.height和offsetHeight比较

看到蓝色经典论坛的一个讨论帖子：http://bbs.blueidea.com/thread-3072537-1-1.html从两个人的争论中，更加深入的了解了style.height和offsetHeight的区别style.height：只能在div在行内样式设置了height才能获取到例如：height do

转载 JS获取屏幕大小

function a(){document.write("屏幕分辨率为："+screen.width+"*"+screen.height+""+"屏幕可用大小："+screen.availWidth+"*"+screen.availHeight+""+"网页可见区域宽："+document.body.clientWidth+""+"网页可见区域高："+documen

转载 UpdatePanel 提示和技巧

Jeff Prosise  目录更新突出显示 取消 UpdatePanel 更新 多个 UpdatePanel 不使用 UpdatePanel 更新 Web Service != SOAP 和 XML 不论好坏，UpdatePanel 控件都是 ASP.NET AJAX 社区所喜爱的。我说“好”，是因为 UpdatePanel

转载 创建ASP.NET WEB自定义控件(转)

创建ASP.NET WEB自定义控件——例程1WEB自定义控件编程是ASP.NET编程里面比较难的一部分，尤其是复杂的控件需要用到平常不常用的一些技术技巧。下面根据一些我自己的实践经验，向读者介绍一下这方面的技术。简单的继承控件：ConfirmButton我们在用ASP.NET编写应用程序的时候，经常需要在按钮提交的时候弹出一个[OK][Cancel]的确认框，以防止用户在操作的时

转载 设置自定义ASP.NET服务器控件TagPrefix的几种方法

方法一、在Web.config中配置,具体做法为:在Web.config文件的System.web节中添加如下代码1pages>2  controls>3     add assembly="ServerControl" namespace="ServerControl" tagPrefix="sc"/>4  controls>5pages>         说

转载 控件开发学习笔记（一）——ToolboxData含义

新建一个ASP.NET服务器控件项目，Visual Studio自动产生如下的代码：namespace WebControlLibrary{    [DefaultProperty("Text")]    [ToolboxData("")]    public class HelloWorld : WebControl    {        [Bindable(tru

转载 iframe元素用法总结

iframe是一个非常有用的标签，先不说早期用它来模型Ajax效果，现在富本文编辑器它也绝对是主角。但是它又是一个特别的元素，最早出现IE4.0中，后纷纷被其他游览器吸纳，由于IE不开源，iframe在各游览器中都有很大差异。首先我们看看它在各游览器中拥有什么属性——火狐的iframe的所有属性:scrollWidth， clientLeft， clientHeight， clie

转载 List作为GridView数据源时，绑定模板列的例子

Liststring> attributes = new Liststring>();narf.DataSource = attributes;narf.DataBind();.aspxasp:gridview ID="narf" runat="server"> Columns> asp:TemplateField> ItemTemplate> as

转载 asp.net中<%%>形式的用法(原创)

在asp.net中经常出现包含这种形式的html代码,我这里特别收集了，总的来说包含下面这样几种格式：一.  这种格式实际上就是和asp的用法一样的，只是asp中里面是vbscript或者javascript代码，而在asp.net中是.net平台下支持的语言。特别注意:服务器控件中不能有语法(这里我用C#代码)          int a = 2;     

转载 asp.net服务器控件button先执行js再执行后台的方法

以下可以直接跳过控件这东西在asp.net中非常好用，极大加快了开发速度。特别是服务器控件这种东西。当年我学网站开发的时候就是从asp.net学起的，而且一度以为网站的原理就是这样而已——朦，反正这样做就对了。随着学的东西越来越多，对网站的原理也了解的越来越多。逐渐发现服务器这种东西由当初的加快开发速度变成了降低了开发速度。学的东西越来越多，开发的要求也越来越高，我也逐渐不满足于服务器控件

转载 asp.net 角色身份验证的使用

序：其实就是将角色写入cookie或session，在每次请求时检查这个字符串。 ASP.NET有三种验证模式：windows，forms，passport。其中forms验证使用的最多。          forms验证对基于验证授权提供了很好的支持，可以通过session，cookie对用户信息就行保存，使前后台有很好的信息沟通。不过问题也来了，我们在做设计时往往需要基

转载 在SQL Server中对视图进行增删改

Lesktop开源IM发布以后，有一些网友问及如何在嵌入IM后与自己网站的用户系统整合(即如何让嵌入的IM直接使用网站原有的用户数据库，而不需要将已有的用户数据导入到IM的数据库中)。Lesktop对Users表（存储用户登录名，昵称，密码等信息的表）都是在存储过程中进行增删改的，显然，如果直接去改Users表相关的存储过程是比较麻烦的，本文将介绍一种较为简单的方法，在不需要修改存储过程和源代码的

转载 sql查询案例:删除2条完全一样的数据

删除2条完全一样的数据今天百度知道上面，有看到一个帖，说要求：2条完全一样的数据删除一条保留一条，用SQL语句删除。 SQL Server 的处理办法 -- 首先创建测试表CREATE TABLE test_delete(  name  varchar(10),  value INT);go-- 测试数据，其中 张三100 与