网络爬虫整理

最近在为自己搭建的网站忙碌,记录下爬虫资料

除了基础的利用python re,beautifulsoup爬取之外,可以连接mysql 数据库将爬取信息导入数据库,例子如下:

-*- coding: utf-8 -*-
import MySQLdb as mdb
import sys
try:
    con=mdb.connect('localhost','user','password','test',charset='utf8')
    cur = con.cursor()
    cur.execute("CREATE TABLE IF NOT EXISTS News\
    (`ID`  INT PRIMARY KEY NOT NULL AUTO_INCREMENT ,`PublishDate`  date NOT NULL ,`Title`  varchar(255) NOT NULL);")
except mdb.Error, e:
    print "Error %d: %s" % (e.args[0],e.args[1])
    sys.exit(1)
finally:
    if con:    
        con.close()

在打开mysql之后,使用test测试数据库,利用mysqldb连接数据库,创建news表

with con:
              curs = con.cursor()
              for i in myItems:
                  date = i[0].replace("\n","")
                  title = i[1].replace("\n","")
  #                print date, title
                 curs.execute("INSERT INTO News(PublishDate,Title) VALUE(%s,    %s)",(date,title))

在爬虫代码内添加:如上代码,with代表try-catch组对,获取所爬取信息,插入news表即可

其中出现了mysql乱码问题,查看之后利用show create table tablename语句发现默认表的字符集为latin,特查询修改方法如下

修改数据库字符集：

alter database db_bame default character set character_name;

把表默认的字符集和所有字符列（CHAR,VARCHAR,TEXT）改为新的字符集：

alter table tb_name convert to character set character_name

只是修改表的默认字符集：

alter table ta_name default character set character_name

修改字段的字符集：

alter table tb_name change c_name c_name character set character_name

查看数据库编码：

show create database db_name

查看表编码：

show create table tb_name

查看字段编码：

show full columns from tb_name

SHOW FULL COLUMNS FROM tbl_name;

永久更改字符集：打开/etc/mysql/my.cnf,在[client]后添加default-character-set=utf8

此外 也可以利用json 转换为sql导入Mysql,链接如下: http://blog.csdn.net/hantangsongming/article/details/24620515

有时间学习下

参考资料:http://www.diannaowa.com/index.php/archives/233

                 http://ju.outofmemory.cn/entry/83530