知多知少-CSDN博客

原创 python使用mysql数据库

python使用mysql数据库 2014-02-25 08:54 by 虫师, 180679 阅读, 13 评论, 收藏, 编辑一，安装mysql 如果是windows 用户，mysql 的安装非常简单，直接下载安装文件，双击安装文件一步一步进行操作即可。 Linux 下的安装可能会更加简单，除了下载安装包进行安装外，一般的linux 仓库中都会有mysql ，我们

2017-04-17 09:07:27 304

原创 Scrapy递归抓取数据存入数据库（示例二）

参考：http://www.hulufei.com/post/Some-Experiences-Of-Using-Scrapy http://www.shahuwang.com/?p=1620 scrapy爬取了链接之后，如何继续进一步爬取该链接对应的内容？ parse可以返回Request列表，或者items列表，如果返回的是Request，则这个Request

2017-04-01 11:03:50 830

原创 Python 字符编码判断

法一： isinstance(s, str) 用来判断是否为一般字符串 isinstance(s, unicode) 用来判断是否为unicode 或 if type(str).__name__!="unicode": str=unicode(str,"utf-8") else: pass 法二： Python chardet 字符编码判断

2017-04-01 09:39:30 214

原创 Scrapy爬虫笔记

Scrapy爬虫笔记 Scrapy是一个优秀的Python爬虫框架，可以很方便的爬取web站点的信息供我们分析和挖掘，在这记录下最近使用的一些心得。 1.安装通过pip或者easy_install安装: 1 sudo pip install scrapy 2.创建爬虫项目 1 scra

2017-03-31 22:08:50 280

原创同时运行多个scrapy爬虫的几种方法（自定义scrapy项目命令）

试想一下，前面做的实验和例子都只有一个spider。然而，现实的开发的爬虫肯定不止一个。既然这样，那么就会有如下几个问题：1、在同一个项目中怎么创建多个爬虫的呢？2、多个爬虫的时候是怎么将他们运行起来呢？说明：本文章是基于前面几篇文章和实验的基础上完成的。如果您错过了，或者有疑惑的地方可以在此查看：安装python爬虫scrapy踩过的那些坑和编程外的思考 scrapy爬虫成

2017-03-31 21:28:30 808

原创 Scrapy抓取数据存入数据库（示例一）

一、示例一：Scrapy抓取豆瓣编程分类第一页的图书名称和链接并存入数据库参考文章：http://tech.sina.com.cn/s/s/2008-12-24/09322685698.shtml 1. 要抓取的文件在items.py中定义，我们要抓取的是图书的名称和链接 2. spiders下的文件 from scrapy.spider import BaseS

2017-03-31 20:23:16 2900 1

原创 Python中sort 和 sorted函数

Python中sort 和 sorted函数一、介绍 sort函数是list列表中的函数，而sorted可以对list或者iterator进行排序二、sort和sorted的比较 1、用sort函数对列表排序时会影响列表本身，而sorted不会举例： >>> a = [1,2,1,4,3,5] >>> a.sort() >>> a [1, 1, 2

2017-03-28 21:54:17 251

知多知少的博客