python selenium翻页_Python-selenium翻页爬取csdn博客保存数据入mysql

csdn博客部分截图

博客链接：https://blog.csdn.net/kevinelstri/article/list/1?

此次目的是要爬取文章标题，发表文章时间以及阅读数量

1.浏览器打开网址，选择一个右击标题，审查元素。如图

通过观察可以发现每篇文章有一个div，格式大多相同，就可以写爬取代码了

2.爬取文章标题，时间，阅读数的网页定位代码：

count=driver.find_elements_by_xpath("//div[@class='article-list']/div[position()>1]/div/p[3]/span/span")

time=driver.find_elements_by_xpath("//div[@class='article-list']/div[position()>1]/div/p[1]/span")

content=driver.find_elements_by_xpath("//div[@class='article-list']/div[position()>1]/h4/a")

三条代码都是通过xpath定位元素

3.取出爬取元素的值，并且打包成列表(方便数据的对应存储)

time_list=[]

content_list=[]

count_list=[]

for t in time:

time_list.append(t.text)

for c in content:

content_list.append(c.text)

for c in count:

count_list.append(c.text)

end1=list(zip(content_list,time_list,count_list))#将爬取的标题和时间压缩成列表

4.将爬取的数据存入数据库(原本已经在数据库test下建立了表格climb_boke),

这里选择写了个自定义函数

def Mysql(data):

conn=MySQLdb.connect(host='localhost',user='root',passwd='cmy1234',port=3306)

cur=conn.cursor()

conn.set_character_set('utf8')#设置编码

cur.execute('set names utf8;')

cur.execute('set character set utf8;')

cur.execute('set character_set_connection=utf8;')

cur.execute('use test')

sql='''insert into climb_boke(title,time,count) values(%s,%s,%s)'''

for i in range(0,len(data)):

cur.execute(sql,list(data[i]))#插入的数据必须是列表形势

print("插入数据成功")

cur.execute('select* from climb_boke')

for data in cur.fetchall():

print(data)

conn.commit()

cur.close()

conn.close()

整体代码：

这里翻页我只取了两页，可以做修改

while k<=2:

url='https://blog.csdn.net/kevinelstri/article/list/'+str(k)+'?'

最终Navicat查看的成果