百度飞桨AIStudio-Python小白逆袭大神-结营心得

---

大家好,我是EverdayForCode。你，今天学习了吗？

时间依旧不会停止脚步，为期7天的 Python小白逆袭大神 训练营即将结营。
本文将从以下四个方面进行总结：

1. 训练营与校园课堂对比
2. 参加训练营收获哪些知识
3. 训练营影响深刻的事
4. 未来的打算

训练营与校园课堂对比

在认识新事物之前，脑海里都会有这个事物的定位。对事物的定位，决定你你对事物了解认知。那么，百度飞浆Python小白逆袭大神这门课程的定义就是体验；校园课堂定位就是基础。
校园课堂更重视原理，例如在学习数据结构时，校园课堂老师会告诉你二叉树怎样实现，图怎样构造等等。老师讲的很基础，但是多数同学听得很无聊，缺乏乐趣。
训练营更重视体验，也会涉及基础但是不全面。训练营会教会你学习这些基础能够做些什么，正因如此，训练营的课堂更加的生动形象。

参加训练营收获哪些知识

收获的知识主要有：

1. 文件遍历
2. 数据爬取
3. 绘制图像
4. 制作数据集
5. 绘制词云

第一次对机器学习、深度学习的认知来源于学校开设的选修课paddlepaddle机器学习认知也就是百度paddlepaddle和高校一起开设的课程。因为是认知课，老师也没讲啥基础，直接讲机器学习理论，听得云里雾里。即便如此，也些许知道机器学习深度学习可以解决这么多问题。于是决定个性化选修 选修python。
参加训练营时刚好学到爬虫才讲一点点，上面列取的知识点对大多数人可能是基础，但是对于小白说是基础的一次巩固。
文件遍历

#导入OS模块
import os
#待搜索的目录路径
path = "Day1-homework"
#待搜索的名称
filename = "2020"
#定义保存结果的数组
result = []

def findfiles():
    #在这里写下您的查找文件代码吧！
    # root 表示当前正在访问的文件夹路径
    # dirs 表示该文件夹下的子目录名list
    # files 表示该文件夹下的文件list
    for root, dirs, files in os.walk(path):   
        for f in files:
            if filename in f:
                file_path=os.path.join(root, f)
                result.append(file_path)
    for i,file_path in enumerate(result):
        print("[{},{}]".format(i+1,file_path))

if __name__ == '__main__':
    findfiles()

数据爬取

# 爬取百度百科中《青春有你2》中所有参赛选手信息，返回页面数据
def crawl_wiki_data():
   """
   爬取百度百科中《青春有你2》中参赛选手信息，返回html
   """
   headers = { 
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   }
   url='https://baike.baidu.com/item/青春有你第二季'                         

   try:
       response = requests.get(url,headers=headers)
       print(response.status_code)

       #将一段文档传入BeautifulSoup的构造方法,就能得到一个文档的对象, 可以传入一段字符串
       soup = BeautifulSoup(response.text,'lxml')
       
       #返回的是class为table-view log-set-param的<table>所有标签
       tables = soup.find_all('table',{'class':'table-view log-set-param'})

       crawl_table_title = "参赛学员"

       for table in  tables:           
           #对当前节点前面的标签和字符串进行查找
           table_titles = table.find_previous('div').find_all('h3')
           for title in table_titles:
               if(crawl_table_title in title):
                   return table       
   except Exception as e:
       print(e)
#对爬取的页面数据进行解析，并保存为JSON文件        
def parse_wiki_data(table_html):
   '''
   从百度百科返回的html中解析得到选手信息，以当前日期作为文件名，存JSON文件,保存到work目录下
   '''
   bs = BeautifulSoup(str(table_html),'lxml')
   all_trs = bs.find_all('tr')

   error_list = ['\'','\"']

   stars = []

   for tr in all_trs[1:]:
        all_tds = tr.find_all('td')

        star = {}

        #姓名
        star["name"]=all_tds[0].text
        #个人百度百科链接
        star["link"]= 'https://baike.baidu.com' + all_tds[0].find('a').get('href')
        #籍贯
        star["zone"]=all_tds[1].text
        #星座
        star["constellation"]=all_tds[2].text
        #身高
        star["height"]=all_tds[3].text
        #体重
        star["weight"]= all_tds[4].text

        #花语,去除掉花语中的单引号或双引号
        flower_word = all_tds[5].text
        for c in flower_word:
            if  c in error_list:
                flower_word=flower_word.replace(c,'')
        star["flower_word"]=flower_word 
        
        #公司
        if not all_tds[6].find('a') is  None:
            star["company"]= all_tds[6].find('a').text
        else:
            star["company"]= all_tds[6].text  

        stars.append(star)

   json_data = json.loads(str(stars).replace("\'","\""))   
   with open('work/' + today + '.json', 'w', encoding='UTF-8') as f:
       json.dump(json_data, f, ensure_ascii=False)
       def crawl_pic_urls():
   '''
   爬取每个选手的百度百科图片，并保存
   ''' 
   with open('work/'+ today + '.json', 'r', encoding='UTF-8') as file:
        json_array = json.loads(file.read())

   headers = { 
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' 
    }

   for star in json_array:

       name = star['name']
       link = star['link']

       #！！！请在以下完成对每个选手图片的爬取，将所有图片url存储在一个列表pic_urls中！！！
           #进入选手详情页面
       response = requests.get(link,headers=headers)
       bs = BeautifulSoup(response.text,'lxml')
           #选取图册地址
       pic_list_url = bs.select('.summary-pic a')[0].get('href')
       pic_list_url = 'https://baike.baidu.com'+pic_list_url
           #进入图册详情页面
       pic_list_response = requests.get(pic_list_url,headers=headers)
       bs = BeautifulSoup(pic_list_response.text,'lxml')
            #选取图片地址
       pic_list_html = bs.select('.pic-list img ')
       pic_urls = []
       for pic_html in pic_list_html:
           pic_url = pic_html.get('src')
           pic_urls.append(pic_url)
       #！！！根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中！！！
       down_pic(name,pic_urls)

… 这里就不多贴代码了，不然有水文章的的嫌疑。

训练营影响深刻的事

参加这次的训练营印象最深的就是学员，讲师 。训练营里面的学员学习激情太高涨了，你在里面不学习就不好意思在群里发言。学员都挺不错的，自发参加训练营，每天吧时间腾出来完成每天的作业。再者就是班主任，讲师很尽责尽力也很努力得在运营这个课程。
最后就是优秀的人太多了，再看看不优秀的自己，优秀的人还在学习，不优秀的人还在玩。有一点点小自卑。

未来的打算

想想当初填报高考志愿在择专业这方面有一点缺乏深刻思考，就知道自己喜欢计算机。当时人工智能，大数据这些专业才开设（2018），我想这些新型专业才出来以后不好就业，于是乎全都避开，现在想想都后悔。为啥当时我没有想过考研呢？现在专业是网络工程但是学习的是web开发方向，web开发就业还好就是工资不高，再者说不可能一直做web开发。
以后打算考研，研究算法方面比如深度学习、NLP。