游玩数据获取与数据分析、数据挖掘 【2022.5.30】

旅游数据获取与数据分析、数据挖掘 【2022/5/30】

源码获取：

链接：https://pan.baidu.com/s/1b39J-dEfUt1ZROO93aEkag
提取码：8848

要点：

1、主要使用BeautifulSoup进行解析，BeautifulSoup语法需要掌握find_all，find 方法，自行百度了解

2、使用pandas和numpy进行数据清洗和挖掘，干货满满。

采集代码：

import requests
from bs4 import BeautifulSoup
import re
import time
import csv
import random
from lxml import  etree

def get_html(i):
    url = 'https://travel.qunar.com/travelbook/list.htm?page={}&order=hot_heat'.format(i)
    headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.360',
             'cookies':'实时的cookies',
             'referer':'https://travel.qunar.com/?from=header'}
    response = requests.get(url=url,headers = headers)
    response.encoding = 'utf-8'
    html_ = response.text
    # print(html_)
    发布受限，源码里有

    return html_

保存数据代码：

with open('D:/爬取的内容/去哪儿网站攻略爬取/Travel.csv', 'a+', encoding='utf-8-sig', newline='') as csvFile:
    csv.writer(csvFile).writerow(['短评', '出发时间', '天数','人均费用','人物','玩法','浏览量','途经'])
csvFile.close()

for i in range(1,110):
    # print(i)
    html = get_html(i)
    get_info(html)
    time.sleep(random.randint(3, 5))
    print("第{}页爬取成功！".format(i))
print("爬取结束")

结果：

数据清洗挖掘过程：

import pandas as pd
df = pd.read_csv("D:/爬取的内容/去哪儿网站攻略爬取/Travel.csv" , encoding = 'utf-8-sig')
df

观察后发现，数据很不规范，我们后续进行数据清洗：

1、提取出发时间

2、提取天数数字、

3、人均费用可以用均值代替空值

4、人物可以用众数代替空值

5、流量量需要提取数字注意万字需*10000

6、、途径我们可以拆分为起始地和目的地两个字段

接下来一一展示代码实现：

提取天数数字为新的天数列：

df['新天数'] = '0'
df
import re
for index, row in df.iterrows():
    day = re.findall('\d+',str(row['天数']))[0]
    print(day)
    row['新天数'] = day
    
df

提取出发日期为新的出发日期：

df['新出发日期'] = df['出发时间'].str[:-2]
df

提取浏览量数字为新浏览量：

df['浏览量'].count()  #1090  无空值

df['新浏览量'] = '0'
for index, row in df.iterrows():
    if '万' in row['浏览量'] :
        view = float(re.findall(r"\d+\.?\d*",str(row['浏览量']))[0])*10000
        print(view)
        row['新浏览量'] = str(int(view))
    else:
        view = re.findall(r"\d+",str(row['浏览量']))[0]
        row['新浏览量'] = view
df

将途径拆分为目的地和起始地：

df['起始地'] = '.'
df['目的地'] = '.'
df['途经'].count()  #1090  无空值
for index, row in df.iterrows():
    if '-' in row['途经']:
        row['起始地'] = '-'
        row['目的地'] = '-'
else:  
    s_next = row['途经'].split('：')[1]

    if '>' in s_next:
        li = s_next.split('>')
        row['起始地'] = li[0]
        row['目的地'] = li[-1]
    else:
        row['起始地'] = s_next
        row['目的地'] = s_next     
df

人物列进行缺失值填充:

df['新人物'] = '独自一人'
df 
for index, row in df.iterrows():
    if '-' not in row['人物'] :
        row['新人物'] = row['人物'] 
df

人均消费进行均值填充缺失值：

import numpy as np
import re 
df['新人均费用'] = '0'
df

for index, row in df.iterrows():
    if '-' not in row['人均费用'] :
        a = float(re.findall(r"\d+",str(row['人均费用']))[0])
        row['新人均费用'] = str(a)
df 
df['新人均费用'].replace('0',np.nan,inplace=True)
df

#均值填充：
mean_val = round(df['新人均费用'].astype(float).mean(),2)
mean_val
df['新人均费用'].fillna(mean_val, inplace=True)
df

最后删除旧的无用列，保存为csv：

df.drop(labels=['出发时间','出发时间','人均费用','人物','浏览量','天数','途经'],axis=1,inplace=True)
df 
df.to_csv('new_Travel.csv',encoding='utf-8-sig')

这样一个简单的旅游数据采集、清洗挖掘实践案例就做好了，还有很多平时积累的案例，后续我会持续编写分享的，如果您觉得有一定的意义，请点个关注呗，您的支持是我创作的最大动力