1.建立自己的术语库
在初学python的过程中,不管是跟书走还是看视频,我们每个章节都会遇到很多新的术语,经常会出现前天学的术语,到今天完全遗忘的情况。
自己动手建立一个术语库查阅程序有以下几点好处:
1)自己动手创建一个属于自己的,并且能经常用的上的程序会有一种强烈的满足感,不用担心很难,你只需要掌握input()和字典的用法,源程序一共四行可以轻松创建出来。以下是笔者的程序参考:
##创造一个编程术语字典,通过输入来查找含义,术语解释中英文皆可
term={
'del':'delete_element',
'sort':'Sort_alphabetically',
'range':'build int',
'title':'Capitalizes_the_first_letter',
'upper':'Capitalizes_all_letters',
'items':'遍历键值',
'keys':'遍历键',
'values':'遍历值',
'set':'提取每个独一无二的值,set是对列表用的',
'len':'显示列表长度',
}
##通过输入来查找含义
find_input=input('please enter the term you want look up:')
print(f"{find_input}'s mean is:{term[find_input]}")
运行结果:
2)自己写解释又是一边加深记忆的过程,后续有新学习的可以随时添加进来,有忘记的也可以再来查询,这样可以帮助摆脱对书本和视频的依赖
2.再完成书本或者视频的练习题后,自己尝试改编程序
书本和视频后附带的练习题,都是针对本章学习的内容的练习,但是你要思考,这个场景真的符合实际情况吗,你觉得用户实际的需要是怎么样的,尝试通过在网上学习可能用到的代码并改它。
举个简单的例子:原练习:
创建多个表示宠物的字典,每个字典都包含宠物的类型及其主人的名字。将这些字典存储在一个名为pets的列表中,再遍历该列表,将所有宠物信息打印出来。
##创建pets列表,列表中放置ala,mimi,miki三个宠物
pets={
'ala':{
'type':'dog',
'master':'john',
},
'mimi':{
'type':'cat',
'master':'juddy',
},
'miki':{
'type':'rabbit',
'master':'myni',
},
}
##遍历列表,全部打印
for name,info in pets.items():
print(f"\nthe pet's name is;{name}")
print(f"the pet's type is:{info['type']}")
print(f"the pet's master is:{info['master']}")
运行结果:
当你完成这个练习之后你是否会想,如果你是一个用户,你希望计算机将所有内容打印,让你自己找想要的信息吗? 当然不!
理想的情况一定是我们输入一个名字,计算机就可以直接提供给我们信息,让我们现在来试着改编这道练习:
##通过输入查询宠物信息
input=input("please enter the name you want look up:")
names=[]
for name in pets.keys():
names.append(name.lower())
if input in names:
for name,info in pets.items():
if input==name:
print(f"{input}'s is a {info['type']},its master is {info['master']}")
else:
print(f"{input} is not in our list")
pets列表的创建部分不变,将全部打印的部分替换,通过input()函数来给变量input赋值,我们首先要确认输入的宠物名字是否在我们信息库中,首先创建一个空列表names,用for循环和append方法,将pets列表中所有宠物的名字添加到names中, 通过if来判断。如果名字在信息库,将该宠物的信息打印出来,如果不在信息库中,给出提示。
运行结果:
改编练习是一件非常有意思的事情,它会使你的思维全方面的发散出去,而不仅仅局限于本章节的知识点,对初学者的进步起巨大作用。
3.利用好python论坛和社区
python的论坛和社区是十分强大的,很多不懂的知识和报错解决方法都可以在论坛、社区里直接找到,并且没事的时候可以翻一些觉得有趣的帖子,看一下大神们都在用python做什么,感兴趣的甚至可以把大神们的程序复制下来自己试着运行一下,这会非常有趣,我的第一份爬虫代码是在看帖子的时候看到的,当时看了有关爬虫的介绍觉得特别有意思,帖子是扒豆瓣top250的电影信息的,我尝试着把程序复制下来运行,当结果展现出来的时候,我是非常震惊的,这更加加深了我学习python的兴趣,下面放代码和结果,有兴趣的朋友也可以试着运行一下:
# -*- codeing = utf-8 -*-
from bs4 import BeautifulSoup # 网页解析,获取数据
import re # 正则表达式,进行文字匹配`
import urllib.request, urllib.error # 制定URL,获取网页数据
import xlwt # 进行excel操作
#import sqlite3 # 进行SQLite数据库操作
findLink = re.compile(r'<a href="(.*?)">') # 创建正则表达式对象,标售规则 影片详情链接的规则
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
findTitle = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>')
findInq = re.compile(r'<span class="inq">(.*)</span>')
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
def main():
baseurl = "https://movie.douban.com/top250?start=" #要爬取的网页链接
# 1.爬取网页
datalist = getData(baseurl)
savepath = "豆瓣电影Top250.xls" #当前目录新建XLS,存储进去
# dbpath = "movie.db" #当前目录新建数据库,存储进去
# 3.保存数据
saveData(datalist,savepath) #2种存储方式可以只选择一种
# saveData2DB(datalist,dbpath)
# 爬取网页
def getData(baseurl):
datalist = [] #用来存储爬取的网页信息
for i in range(0, 10): # 调用获取页面信息的函数,10次
url = baseurl + str(i * 25)
html = askURL(url) # 保存获取到的网页源码
# 2.逐一解析数据
soup = BeautifulSoup(html, "html.parser")
for item in soup.find_all('div', class_="item"): # 查找符合要求的字符串
data = [] # 保存一部电影所有信息
item = str(item)
link = re.findall(findLink, item)[0] # 通过正则表达式查找
data.append(link)
imgSrc = re.findall(findImgSrc, item)[0]
data.append(imgSrc)
titles = re.findall(findTitle, item)
if (len(titles) == 2):
ctitle = titles[0]
data.append(ctitle)
otitle = titles[1].replace("/", "") #消除转义字符
data.append(otitle)
else:
data.append(titles[0])
data.append(' ')
rating = re.findall(findRating, item)[0]
data.append(rating)
judgeNum = re.findall(findJudge, item)[0]
data.append(judgeNum)
inq = re.findall(findInq, item)
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(" ")
bd = re.findall(findBd, item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?', "", bd)
bd = re.sub('/', "", bd)
data.append(bd.strip())
datalist.append(data)
return datalist
# 得到指定一个URL的网页内容
def askURL(url):
head = { # 模拟浏览器头部信息,向豆瓣服务器发送消息
"User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122 Safari / 537.36"
}
# 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质上是告诉浏览器,我们可以接收什么水平的文件内容)
request = urllib.request.Request(url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
# 保存数据到表格
def saveData(datalist,savepath):
print("save.......")
book = xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True) #创建工作表
col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
for i in range(0,8):
sheet.write(0,i,col[i]) #列名
for i in range(0,250):
# print("第%d条" %(i+1)) #输出语句,用来测试
data = datalist[i]
for j in range(0,8):
sheet.write(i+1,j,data[j]) #数据
book.save(savepath) #保存
# def saveData2DB(datalist,dbpath):
# init_db(dbpath)
# conn = sqlite3.connect(dbpath)
# cur = conn.cursor()
# for data in datalist:
# for index in range(len(data)):
# if index == 4 or index == 5:
# continue
# data[index] = '"'+data[index]+'"'
# sql = '''
# insert into movie250(
# info_link,pic_link,cname,ename,score,rated,instroduction,info)
# values (%s)'''%",".join(data)
# # print(sql) #输出查询语句,用来测试
# cur.execute(sql)
# conn.commit()
# cur.close
# conn.close()
# def init_db(dbpath):
# sql = '''
# create table movie250(
# id integer primary key autoincrement,
# info_link text,
# pic_link text,
# cname varchar,
# ename varchar ,
# score numeric,
# rated numeric,
# instroduction text,
# info text
# )
#
#
# ''' #创建数据表
# conn = sqlite3.connect(dbpath)
# cursor = conn.cursor()
# cursor.execute(sql)
# conn.commit()
# conn.close()
# 保存数据到数据库
if __name__ == "__main__": # 当程序执行时
# 调用函数
main()
# init_db("movietest.db")
print("爬取完毕!")
运行结束以后,双击左侧生成的的xls文件
就可以看到运行结果啦