普通Python学习让人倦
同学们,这次我们要学习用Python来做爬虫,爬取的是深度学习的训练资料。估计这么一说,大部分同学是这样的。
少部分同学可能觉得爬虫和深度学习比较时髦,还能硬着头皮来听讲,但心里肯定直打鼓,“这肯定是从入门到放弃吧?”
好吧,这次用不一样的方法,先让大家看时尚综艺节目吧,里面有很多PLMM,至于学习嘛,先放后面。怎么样?有精神了吧。让我们开始看看综艺,解解乏。
综艺是什么?
这次有很多PLMM的节目就是,《青春有你第二季》。109位选手,通过任务、训练、考核,让选手在明星导师训练下成长,最终选出9位选手,组成偶像团体出道。可以说,PLMM多的很,让我们先看几位。
Lisa
LISA(舞蹈导师)
泰国籍女歌手
代表作品:WHISTLE、BOOMBAYAH
哦,这不是选手,是出席嘉宾。呵呵,看花眼了。马上选手就来。
选手来了,就直接截图了啊。
还有很多啊,大家千万别忘了,学习Python才是目标。这次的目标是,
本次实践使用Python来爬取百度百科中《青春有你2》所有参赛选手的信息。
所有的PLMM图片都爬取下来,这次就干这个,至于拿来干嘛?别想歪了,留个悬念,后面会有更精彩的答案。
下面介绍爬取的思路和关键点。
爬取图片思路和关键
爬虫大家平常听的比较多,很多人也把爬虫想得比较神秘。下面就先科普下Python来爬资料的原理。
首先,从大家上网开始讲起。
作为一个普通上网用户,要浏览网站,首先打开浏览器 ,输入网址,浏览器往目标站点发送请求。 浏览器接收网站响应数据,然后浏览器将内容 渲染到页面上。用户看到访问内容就完成了一个普通浏览过程。
那么模拟我们日常访问的爬虫程序是怎么执行的呢?为什么要模拟?这个问题问的好。
只有模拟了人访问的爬虫才能最大程度得到理想的数据,而不用担心被封杀。好,下面是爬虫程序执行原理。所以想学的同学,有必要听一下这位老师的课、领取python福利奥,想学的同学可以到梦子老师的围鑫(同音):前排的是:762,中间一排是:459,后排的一组是:510 ,把以上三组字母按照顺序组合起来即可她会安排学习的。所以想学的同学,有必要听一下这位老师的课、领取python福利奥,想学的同学可以到梦子老师的围鑫(同音):前排的是:762,中间一排是:459,后排的一组是:510 ,把以上三组字母按照顺序组合起来即可她会安排学习的。
首先爬虫程序模拟浏览器,往目标站点发送请求。爬虫程序接收网站响应数据后,从中提取有用的数据 。最后保存下来。
大家明白原理后,作为一个爬虫应该有的程序逻辑就跃然于纸上。
爬虫的过程:
`1.发送请求(requests模块)
2.获取响应数据(服务器返回)
3.解析并提取数据(BeautifulSoup查找或者re正则)
4.保存数据`
爬虫过程中两个库,requests和BeautifulSoup下面就重点讲解下。
request模块:
` requests是python实现的简单易用的HTTP库,官网地址:http://cn.python-requests.org/zh_CN/latest/
requests.get(url)可以发送一个http get请求,返回服务器响应内容。
`
BeautifulSoup库:
`BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。网址:https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml。
BeautifulSoup(markup, “html.parser”)或者BeautifulSoup(markup, “lxml”),推荐使用lxml作为解析器,因为效率更高。`
参赛选手爬取具体代码
是不是想跃跃欲试呢?下面看好了,爬取百度百科中《青春有你2》中所有参赛选手信息,返回HTML的代码来了!
Python代码如下:
` def parse_wiki_data(table_html):
‘’’
从百度百科返回的html中解析得到选手信息,以当前日期作为文件名,存JSON文件,保存到work目录下
‘’’
bs = BeautifulSoup(str(table_html),‘lxml’)
all_trs = bs.find_all(‘tr’)
error_list = [’’’,’"’]
stars = []
for tr in all_trs[1:]:
all_tds = tr.find_all(‘td’)
star = {}
#姓名
star["name"]=all_tds[0].text
#个人百度百科链接
star["link"]= 'https://baike.baidu.com' + all_tds[0].find('a').get('href')
#籍贯
star["zone"]=all_tds[1].text
#星座
star["constellation"]=all_tds[2].text
#身高
star["height"]=all_tds[3].text
#体重
star["weight"]= all_tds[4].text
#花语,去除掉花语中的单引号或双引号
flower_word = all_tds[5].text
for c in flower_word:
if c in error_list:
flower_word=flower_word.replace(c,'')
star["flower_word"]=flower_word
#公司
if not all_tds[6].find('a') is None:
star["company"]= all_tds[6].find('a').text
else:
star["company"]= all_tds[6].text
stars.append(star)
json_data = json.loads(str(stars).replace("’","""))
with open(‘work/’ + today + ‘.json’, ‘w’, encoding=‘UTF-8’) as f:
json.dump(json_data, f, ensure_ascii=False)
`
上面代码爬了内容,并返回html,下面就要对爬取的页面数据进行解析,并保存为JSON文件。为什么要保存json文件呢?因为你肯定不想每次抓图都去爬全部的页面,而是先把全部页面保存下来,然后再慢慢分析每个保存的页面中的图片链接,然后再真正把图爬下来。要说明的是,PLMM的图,不要放弃哦。所以想学的同学,有必要听一下这位老师的课、领取python福利奥,想学的同学可以到梦子老师的围鑫(同音):前排的是:762,中间一排是:459,后排的一组是:510 ,把以上三组字母按照顺序组合起来即可她会安排学习的。
` def parse_wiki_data(table_html):
‘’’
从百度百科返回的html中解析得到选手信息,以当前日期作为文件名,存JSON文件,保存到work目录下
‘’’
bs = BeautifulSoup(str(table_html),‘lxml’)
all_trs = bs.find_all(‘tr’)
error_list = [’’’,’"’]
stars = []
for tr in all_trs[1:]:
all_tds = tr.find_all(‘td’)
star = {}
#姓名
star["name"]=all_tds[0].text
#个人百度百科链接
star["link"]= 'https://baike.baidu.com' + all_tds[0].find('a').get('href')
#籍贯
star["zone"]=all_tds[1].text
#星座
star["constellation"]=all_tds[2].text
#身高
star["height"]=all_tds[3].text
#体重
star["weight"]= all_tds[4].text
#花语,去除掉花语中的单引号或双引号
flower_word = all_tds[5].text
for c in flower_word:
if c in error_list:
flower_word=flower_word.replace(c,'')
star["flower_word"]=flower_word
#公司
if not all_tds[6].find('a') is None:
star["company"]= all_tds[6].find('a').text
else:
star["company"]= all_tds[6].text
stars.append(star)
json_data = json.loads(str(stars).replace("’","""))
with open(‘work/’ + today + ‘.json’, ‘w’, encoding=‘UTF-8’) as f:
json.dump(json_data, f, ensure_ascii=False)
`
下面来干货了,真正爬取每个选手的百度百科图片,并进行保存。
` def crawl_pic_urls():
‘’’
爬取每个选手的百度百科图片,并保存
‘’’
with open(‘work/’+ today + ‘.json’, ‘r’, encoding=‘UTF-8’) as file:
json_array = json.loads(file.read())
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36’
}
for star in json_array:
name = star['name']
link = star['link']
pic_urls.append(link)
down_pic(name,pic_urls)
`
上面收集了每张图片链接,下面开始真正每张图下载了,伟大时刻开启。
` def down_pic(name,pic_urls):
‘’’
根据图片链接列表pic_urls, 下载所有图片,保存在以name命名的文件夹中,
‘’’
path = ‘work/’+‘pics/’+name+’/’
if not os.path.exists(path):
os.makedirs(path)
for i, pic_url in enumerate(pic_urls):
try:
pic = requests.get(pic_url, timeout=15)
string = str(i + 1) + ‘.jpg’
with open(path+string, ‘wb’) as f:
f.write(pic.content)
print(‘成功下载第%s张图片: %s’ % (str(i + 1), str(pic_url)))
except Exception as e:
print(‘下载第%s张图片时失败: %s’ % (str(i + 1), str(pic_url)))
print(e)
continue
`
打印爬取的所有图片的路径
def show_pic_path(path): ''' 遍历所爬取的每张图片,并打印所有图片的绝对路径 ''' pic_num = 0 for (dirpath,dirnames,filenames) in os.walk(path): for filename in filenames: pic_num += 1 print("第%d张照片:%s" % (pic_num,os.path.join(dirpath,filename))) print("共爬取《青春有你2》选手的%d照片" % pic_num)
写好了每个功能模块,让他们都转起来。
`if name == ‘main’:
#爬取百度百科中《青春有你2》中参赛选手信息,返回html
html = crawl_wiki_data()
#解析html,得到选手信息,保存为json文件
parse_wiki_data(html)
#从每个选手的百度百科页面上爬取图片,并保存
crawl_pic_urls()
#打印所爬取的选手图片路径
show_pic_path('/home/aistudio/work/pics/')
print("所有信息爬取完成!")`
开始转起来。真正的把100多位漂亮妹子的图从网上抓下来,是多么的壮观。让大家看看效果。
真正的把100多位漂亮妹子的图从网上抓下来,是多么的壮观
如果你的网络没问题,不多会,你就发现,选手的照片都躺到硬盘上了。开心吧,下面会讲到让你更意外的精彩。所以想学的同学,有必要听一下这位老师的课、领取python福利奥,想学的同学可以到梦子老师的围鑫(同音):前排的是:762,中间一排是:459,后排的一组是:510 ,把以上三组字母按照顺序组合起来即可她会安排学习的。
选手的照片都躺到硬盘上了
真正的目的
有了这么多美女的照片,我们最后是要做什么呢?
最后的目的是让大家掌握人工智能领域现在最火热的深度学习。大家也知道从2015年开始,各大公司,包括阿里,头条等,用天价的薪酬来招聘深度学习工程师。对,就是接下来大家要掌握的深度学习。
大家要掌握的深度学习
下面的深度学习就会用爬下来的美女照片教会机器,不!应该说用美女照片做训练集,让机器在这个数据集上进行训练,然后就可以进行比如人像识别等很精彩的应用了。所以想学的同学,有必要听一下这位老师的课、领取python福利奥,想学的同学可以到梦子老师的围鑫(同音):前排的是:762,中间一排是:459,后排的一组是:510 ,把以上三组字母按照顺序组合起来即可她会安排学习的。
深度学习一般过程如下: