Day11——Python文本挖掘数据分析

---

一 业务背景

二 分析流程

1.驱虫市场的潜力分析-分析目的&加载数据

分析目的:针对各个子类目市场近三年的交易额数据,以及top100品牌数据(2017年11月到2018年10月),通过描述性分析,在年变化的维度上:

1. 分析整个市场的总体趋势
2. 分析各子类目市场占比及变化趋势
3. 分析市场集中度,即是否存在垄断
   分析过程:-读取各子类目市场近三年交易额数据-依时间汇总成各子类目在时间线上的交易金额数据

2.驱虫市场的潜力分析-清洗补全数据

由于其中的时间列是从2015年11月到2018年10月,而我们需要的是2016-2018年每月完整的数据(方便从年变化的角度分析产品)
这里我们假设:-每年各月之间没有明显规律的周期性变化(近似认为月和月之间的相关性不大)
每年对应月份的数据是线性变化的(一是因为数据少,二是认为随着年份的增长,交易额在大环境下是稳步变化的)
故这里我们可以简单的用线性回归预测-即对于每个子类目市场,用15,16,17年的11/12月销售金额预测18年的对应月份

// An highlighted block
import glob
import os 
import pandas as pd
import numpy as np
import re
import datetime as dt
from sklearn.linear_model import LinearRegression
import seaborn as sns;sns.set()
from matplotlib import pyplot as plt
import jieba
import jieba.analyse
import imageio
from wordcloud import WordCloud
from snownlp import SnowNLP
import warnings
warnings.filterwarnings('ignore')

// An highlighted block
import os

# 显示当前工作目录
print("Initial working directory:", os.getcwd())
# 切换目录
os.chdir('Desktop\data\驱虫剂市场')
filenames = glob.glob('*近三年交易额.xlsx')
filenames
re.search(r'.*(?=市场)','灭鼠杀虫剂市场近三年交易额.xlsx').group()
def read_3threes(filename):
    colname = re.search(r'.*(?=市场)',filename).group() # 提取文件名中“市场”前面的文字
    df = pd.read_excel(filename) 
    if df['时间'].dtypes == 'int64':
        # 将“时间”列的数据类型转变为datetime类型
        df['时间'] = pd.to_datetime(df['时间'],unit='D',origin=pd.Timestamp('1899-12-30'))
    df.rename(columns={df.columns[1]:colname},inplace=True) # 修改第二列的列名
    df.set_index('时间',inplace=True)
    return df
# 分别读取七个文件，并转换成DataFrame,存入列表中
dfs = [read_3threes(filename) for filename in filenames]
# 将7个DataFrame在axis=1的方向拼接
df = pd.concat(dfs,axis=1).reset_index()
df.head()

驱虫市场的潜力分析-整体市场

按照年份查看驱虫市场的总体变化趋势-所有子类目市场每年的交易金额总和;折线图表示变化
可以看出:近三年呈增长趋势,整个市场倾向于成长期和成熟期

// An highlighted block
month = df['时间'].dt.month
month
for i in [11,12]:
    dm = df[month==i] # 从df中抽取对应月份的记录
    Xtrain = np.array(dm['时间'].dt.year).reshape(-1,1)
    y_hat = [pd.datetime(2018,i,1)]
    for j in range(1,len(dm.columns)):  # 遍历对应月份的每个种类
        ytrain = np.array(dm.iloc[:,j])  # 获取对应种类的交易金额，作为训练样本集标签
        reg = LinearRegression()
        reg.fit(Xtrain,ytrain)
        y_predict = reg.predict(np.array([2018]).reshape(-1,1))
        y_hat.append(y_predict)
    newrow = pd.DataFrame(dict(zip(df.columns,y_hat)))
    df = newrow.append(df)  # 将预测的结果加到df中
df.reset_index(drop=True,inplace=True) # 删除原索引，重置索引
df = df[df['时间'].dt.year!=2015]
df['colsum'] = df.sum(1)
df.head()
df.insert(1,'year',df['时间'].dt.year)
byyear = df.groupby('year').sum().reset_index()
# 重命名 'year' 列为 '年份'
byyear = byyear.rename(columns={'year': '年份'})
byyear = byyear.rename(columns={'colsum': '合计'})
# 绘图
sns.relplot('年份','合计',kind='line',marker='o',data=byyear)
plt.title('近三年驱虫市场趋势',fontsize=16)
plt.xticks(byyear.年份)
plt.xlabel('年份')
plt.yticks(byyear.合计)
plt.ylabel('总交易额')
plt.show()

驱虫市场的潜力分析-各市场变化趋势

查看各类目市场三年内销售额总和的变化趋势

// An highlighted block
# 绘制各子类目市场趋势

# 列出所有子类目
categories = ['灭鼠杀虫剂', '电蚊香套装', '盘香灭蟑香蚊香盘', '蚊香加热器', '蚊香液', '蚊香片', '防霉防蛀片']

for category in categories:
    plt.plot(byyear['年份'], byyear[category], marker='o', label=category)

plt.xlabel('年份')
plt.ylabel('销售总量')
plt.title('各子类目市场趋势')
plt.legend()
plt.grid(True)
plt.tight_layout()

# 显示图表
plt.show()

驱虫市场的潜力分析-各市场占比

查看各类目市场三年内销售额总和的占比

// An highlighted block
# 先按年份对数据进行分组求和
by_year_sum = byyear.groupby('年份')[categories].sum()

# 计算每个类目在各年份的占比
category_percentage_by_year = by_year_sum.div(by_year_sum.sum(axis=1), axis=0) * 100

# 可视化各类目在不同年份的销售额占比
plt.figure(figsize=(12, 8))
category_percentage_by_year.plot(kind='bar', stacked=True)
plt.xlabel('年份')
plt.ylabel('占比（%）')
plt.title('各类目在不同年份的销售额占比')
plt.legend(loc='upper right', bbox_to_anchor=(1.2, 1))
plt.grid(True)
plt.tight_layout()
plt.show()

可见灭鼠杀虫剂和蚊香液可进一步扩展,就需要与甲方业务人员进一步沟通假设沟通后我们重点关注的是灭鼠杀虫剂

驱虫市场的潜力分析-各市场年增幅

· 进一步分析各类目市场16-17年17-18年增幅

// An highlighted block
# 计算年增幅
byyear_p = byyear.iloc[:,1:-1]
byyear_diff = byyear_p.diff().iloc[1:,:].reset_index(drop=True)/byyear_p.iloc[:2,:]
byyear_diff.index = ['16-17','17-18']
byyear_diff
byyear_diff.plot()
plt.xlabel('年份')
plt.ylabel('销售总量')
plt.title('各子类目市场趋势')
plt.legend()
plt.grid(True)
plt.show(

可见：见除了灭鼠杀虫剂和蚊香液增幅比较稳定,其它都有下降甚至变负
1、电蚊香套装进入负增长，该领域不可进； 2、较稳定增长领域：灭鼠杀虫剂； 3、考虑蚊香加热器产品寿命长，且总交易额较低，占比较低，市场小，故主要考虑灭鼠杀虫剂市场。

驱虫市场的潜力分析-垄断

// An highlighted block
df1 = pd.read_excel('top100品牌数据.xlsx')
# 生成交易指数占比列，用以描述市场份额
df1['交易指数占比'] = df1['交易指数']/df1['交易指数'].sum() 
df1.plot(x='品牌', y='交易指数占比', kind='bar', figsize=(12, 8))
plt.xlabel('品牌')
plt.ylabel('交易指数占比')
plt.title('驱虫市场各品牌份额占有率')
plt.legend(loc='upper right')  # 设置图例位置为右上角
plt.grid(True)  # 显示网格线
plt.tight_layout()
plt.show()

计算HHI指数

// An highlighted block
var foo = 'bar';
# 计算HHI指数
HHI = sum(df1['交易指数占比']**2)  
print(f'驱虫市场HHI指数:{HHI:.6f}(或{HHI*10000:.2f}),等效公司数:{1/HHI:.2f}')

驱虫市场HHI指数:0.013546(或135.46),等效公司数:73.82
可见：该市场存在一定竞争，但不存在垄断。 驱虫市场的潜力分析-结论

整体驱虫市场处于快速增长阶段,趋向于成长期到成熟期
灭鼠杀虫剂市场份额较大(大于60%),约是第二名蚊香液的二倍,市场增长率接近40%, 可以认为是明星产品类目,需要持续投资和重点关注
驱虫市场不存在垄断,结构不集中,竞争相对激烈,即没有明显的来自大公司的压力