小白mysql_小白初学mysql

谢谢程老师把我带进mysql中，刚开始学习python的时候，他就推荐需要学习数据库。和他交流很多，比我小很多，但是俨然一个小老师。从新建一张表到插入数据，边做边深掘一个一个知识点。也看了很多他分享的文章，很有自己的思想，而且非常详细的在例子里备注很多知识点。

我写简书的目的还是督促自己要记录，可以经常回顾，养成一个爱学习的好习惯。

主要知识点

一、mysql的基本操作(只是目前学到的知识打个卡哈，后边还有许多操作需要自学)

二、Scrapy中引入自建的Mysql类(直接拿老师的过来用)

第一部分

mysql 的基本操作：

工具

推荐数据库管理工具：Navicat for mysql.

1)建立数据库链接，

输入连接名

主机名(本地机是localhost,或者ip地址是：127.0.0.1)

端口：3306

用户名／密码：很重要！！！(scrapy中连接mysql的接口需要)

Paste_Image.png

请原谅我不知道怎么调整图片大小

最后点下“连接测试”，测试成功，就可以看到一下界面

可以看到上边的小海豚是你的连接名。

2)连接成功后，建立自己的mysql数据库。

Paste_Image.png

注意默认字符集是utf8#

Paste_Image.png

图中的是local_db(这个也很重要)

我test的时候又新建了一个新的数据库名字是“suzy”

3)现在可以开始建表了

打mysql命令的地方在这里，点击查询，然后在空白处右键选择“新建查询”。

Paste_Image.png

命令如下：

use suzy; # 先指定数据库名‘suzy’

create table score( # 新建表名是score

student_name varchar(100),

#表中的字段名“student_name“，类型是varchar(100)

course varchar(100),

score int(11),

key name(student_name)

# key是索引，把字段名student_name作为索引

)engine=innodb default charset=utf8

#默认的结尾

这样一张表就建好了。但是目前没有数据

4)插入数据到表名为suzy的表中。这样表就是一张完整表了

insert into score values('liming','chinese',90);

#这里的values()的内容的数据类型必须和建表的时候设置的数据类型一致

也可以写成

insert into score (student_name,course,score) #在score表的哪几个字段插入数据

values

('liming','chinese',90); #插入数据的值

然后执行一下，数据就插进去了

可以通过以下查询语句看到表的结构和数据

4)查询表

select * from score

# ‘*’表示score表的所有字段的数据都显示

#如果要选择某几个字段，可以写成 select course from score

Paste_Image.png

如果要指定查询表的某几条记录，可以加入条件where

SELECT field1, field2,...fieldN FROM table_name

WHERE condition

5)左连接运算---LEFT UNION(不好意思现在只学了左连接)

主体意思就是：有2张表，一张左表，一张右表吧，它两有共同都字段集，也有不同都字段集。由于左表是老大，右表想要和他连结，然后通过共同字段连结后，把右表有但是左表没有的字段集贡献给左表，左表就可以扩张自己字段集(本身字段+右表贡献都字段)，这样可以理解哇

废话不说，举栗子 ：

创建新都一个表 ，假设以及插入数据如下：

score表.png

name_id表.png

第一个图就是左表，left join的左表都是数据比较全都那种，第二个图是右表，第一个张表的学生没有id，现在把第二张表student_name对应都

name_id给第一张表。需要写如下sql命令：

select a.*,b.name_id

from score as a

left join name_id as b on b.student_name=a.student_name

order by b.name_id

注意查询表都不是物理存在的表，所以我们可以对查询表中引用的物理

表做一个另命名 ，score as a 表示把表score另命名为a表，所以查询

表的字段为a.* 表示score表的所有字段。left join 的右边就是你要被左

表连结的表。on为辅助条件，就是2表都有的共同字段，这里表示如果

有b表的学生名和a表的学生名一致，则把b表学生的id给到查询表。

结果如下：

Paste_Image.png

该查询表的主体还是左表score的所有记录，只是添加了一个新的字段name_id，这个id的值是根据右表name_id的学生名对应的id。

好，先介绍这么多，现在有了这几个基础，就可以把之前scrapy版的爬虫进行改造了。

第二部分

Scrapy中引入自定义的Mysql类

我之前做的scrapy都是存储为csv，这次可以用程老师自己做的Mysql类来存储数据到mysql数据库中了。

class Mysql():

#绑定3个参数 表名 字段列表 字段数量

def __init__(self,table_name,field_list=[],field_num=0):

self.table_name=table_name

self.field_list=field_list

self.field_num=field_num

#建表函数

def create_table(self):

Field_list=[]

for field in self.field_list:

field+=' varchar(500)'

Field_list.append(field)

field_str=','.join(Field_list)

engine='engine=innodb default charset=utf8'

create_sql_str='create table IF NOT EXISTS %s(%s)%s' % (self.table_name,field_str,engine)

print create_sql_str

conn = MySQLdb.connect(host='localhost', user='root', passwd='123456', db='local_db', port=3306,charset='utf8')

with conn:

cursor =conn.cursor()

cursor.execute(create_sql_str)

#插入数据函数 接收一个字典参数

def insert(self,item={}):

conn = MySQLdb.connect(host='localhost', user='root', passwd='123456', db='local_db', port=3306,charset='utf8')

#列表转字符串 用于构造insert_sql

data=','.join(["'"+ item[i]+"'" for i in range(1,self.field_num+1)])

with conn:

cursor = conn.cursor()

insert_sql='insert into %s values (%s) '% (self.table_name,data)

print insert_sql

cursor.execute(insert_sql)

conn.commit()

先把这个类py文件放在scrapy的和pipelines.py同级的目录下。

如下：

Paste_Image.png

好现在开始介绍一下这个自建类 。类名：Mysql

def init(self,table_name,field_list=[],field_num=0):在初始话的时候 ，类就需要有3个形参“table_name”，“field_list”这个是列表，如果类实列化的时候 ，这个传入的实参是空的，则这个默认是空列表。field_num也一样，默认是0.

这个自建类的方法有2个，一个是creat_table(self),一个是insert()方法。

先说create_table方法。他主要是把field_list列表的字段插入 varchar(500)后然后强制字符串化。这个就是在组建mysql的create table命令

create_sql_str就是一句创建表的mysql语句。

另外：conn = MySQLdb.connect(host='localhost', user='root', passwd='123456', db='local_db', port=3306,charset='utf8')这个就是打开数据库连接的关键语句。其中host='localhost'这是我们的连接名。user，passwd，db，port都是我们上边创建数据库的关键信息。如果写错误了，那么scrapy就不能和mysql数据库对接。

with conn：表示打开连接，数据传输完毕后关闭。

cursor 是数据库游标，执行之前的mysql命令，就想刚刚我们新建查询中输入mysql命令一样。cursor.execute(create_sql_str)

另外一个insert()方法也是一样的。

现在类已经存在在scrapy中了，我们现在需要做的就是调用这个类，奖数据存到mysql数据库中。

scarpy框架中的数据存储设置是放在pipeline.py中。

pipelines.py

from class_mysql import Mysql

field_list=['companyFullName','companySize','positionName','education','financeStage','salary','city','positionAdvantage']

field_num=len(field_list)

project=Mysql('lagoutest',field_list,field_num)

project.create_table()

class LagouPipeline(object):

def process_item(self, item, spider):

project.insert(item)

from class_mysql import Mysql就是我们从class_mysql.py引入Mysql这个类

field_list,field_num都是实参。

project=Mysql('lagoutest',field_list,field_num) project就是实列化这个Mysql类，把3个参数传入其中。‘lagoutest'是类中数据库的存储数据的表名。field_list就是表的字段名。

然后在把pipelines.py的自带类的方法process_item()中执行mysql的insert插入数据语句。process_item()就是表示保存数据到文件中的作用。

project.insert(item)这里到item就是我们写主爬虫的时候到yield item中的item。注意item是一个字典。我们在构造Mysql类的时候方法insert(参数)参数是一个字典。它的key=for i in range(1,field_num+1),所以在写主爬虫的时候，yield item的item需要为item[1],item[2],item[3]......,如下

Paste_Image.png

我们看一下这个执行的结果：

Paste_Image.png

可以看到local_db数据库中多了一个新建的表lagoutest。

在看一下scrapy跑的时候，可以看到insert into table的mysql语句在执行。

Paste_Image.png

总结：

第一次用sql 开心！奖励自己一个甜品！想减肥撸代码！