[机器学习]京东机器学习类图书畅销原因分析-决策树或随机森林

最新推荐文章于 2022-12-07 23:02:15 发布
最新推荐文章于 2022-12-07 23:02:15 发布
阅读量2.2w 收藏 13
点赞数 6
分类专栏： Sklearn 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keeppractice/article/details/107545697
版权

一. 问题描述

机器学习图书畅销原因分析

二. 分析问题的过程与步骤

1.在京东网站上爬取3000条关于机器学习类书籍的数据。

爬虫代码可以看这里
爬完结果如下
在这里插入图片描述

2. 数据预处理

  1. 去掉特殊字符
  2. 一些看起来没有用的列删掉
  3. 一些由空值的字段删掉。
  4. 通过title这列，衍生出两个全新列
    traditional_deep_category: 机器学习，深度学习
    practice_theory_category：实战类书，理论类书，综合类
  5. 通过author这列，衍生出is_author_foreigner- 国外作者还是国内作者
  6. 通过price与old price这两列，衍生出discount_price-打折多少。
  7. 通过publish date与comment count这两列，衍生出中间环节一列。
    comment_count_monthly-月评论数，离散化后衍生出selling_top
  8. 把其他一些数值型数据离散化。
  9. 最好生成一个最终版本的数据集

在这里插入图片描述

3. 用决策树或随机森林做特征重要性分析。

决策树的结果如下。 特征的重要排名是
1.Discount_price:折扣价
2.Practice_theory_category: 实战还是理论类
3.Price: 当前价格
4.Traditional_deep_category: 传统机器学习还是深度学习。
5.Is_author_foreigner:国外作者还是国内

在这里插入图片描述
如果去掉折扣价和当前价格的特征重要性如下结果
在这里插入图片描述

4. 字段practice_theory_category(实战或偏理论的书)分析

由评论数最高的前150本畅销书画出的下面柱状图可知，大部分图书是偏实战方面的图书
在这里插入图片描述

5. 字段tranditional_deep_category(传统机器学习与深度机器)比较

前150本畅销图书。有图可知，两者基本差不多

在这里插入图片描述

6. 从出版社这一维度分析

大部分畅销书是由机械工业出版社与人民邮电出版社出的。
在这里插入图片描述

7. 从作者是国外的还国内的这一维度分析。

畅销书内国内作者还是多与国外作者，但是由于国外作者还是挺多可知。国外作者是畅销书的可能还是很大

在这里插入图片描述

8.价格与折扣价上看

畅销图书红色方框与蓝色三角形都落在了红色圆圈里面，滞销书绿色圆与黄色四边形大部分落在绿色圆圈里面，可以看出畅销书的价格在40-100之间，折扣价在0-30之间。
在这里插入图片描述

9. 通过前50本畅销书的里前10条留言的词云分析。深度学习，印刷，质量，精装版的关键字比较多。说明很多读者对深度学习很感兴趣还有就是书的印刷和质量。

在这里插入图片描述

10. 通过畅销书的书主题的词云看，除了机器学习外，深度学习，tensorflow，实战与实践这类图书占了大部分

在这里插入图片描述

三，结果总结

影响机器学习书畅销的主要因素是1.折扣价格，2偏实战还理论，3.当前价格，4.深度学习还是传统机器学习，5国外还是国内作者。
偏实战方面，偏深度学习方面，还有就是价格与折扣价适中的图书比较受欢迎。
如果某出版社要出版机器学习的书籍。我的建议是书的内容上多出一些偏实战与深度学习方面的图书尤其是Tensorflow语言的。还有就是书的质量方面，最好是精装版印刷比较好的。

有待改进的地方
特征其实太少，如果可以的话，多抓取以下其它的特征（比如书是否带有视频教程，作者是的出名程度，是否配有网课等等。。。）。

四， 数据预处与分析的完整代码

import pandas as pd
import numpy as np
import sklearn as sklearn
from sklearn.feature_extraction import DictVectorizer
from sklearn import tree
from wordcloud import WordCloud, ImageColorGenerator
import jieba
from sklearn.ensemble import RandomForestClassifier
from PIL import Image

import matplotlib.pyplot as plt
def preprocessing():
    df = pd.read_csv('data.csv', encoding='utf-8')
    print(df.loc[:, 'publish_date'].values)

    # 去掉一些特殊字符
    f = lambda x: x['publish_date'].replace('[','').replace(']','').replace("'",'')
    df.loc[:, 'publish_date'] = df.apply(f, axis=1)
    df.to_csv('final_data.csv', encoding = 'utf-8', index=False)

    # 删掉没有出版时间的行
    df = pd.read_csv('final_data.csv', encoding='utf-8')
    df = df.dropna(subset=['publish_date'])
    df.to_csv('final_data.csv', encoding = 'utf-8', index=False)


    # 删掉大牛的书籍
    df = pd.read_csv('final_data.csv', encoding='utf-8')
    df = df[~ df['author'].str.contains('周志华','李航')]
    df = df[~ df['title'].str.contains('周志华','李航')]

    #删掉一些没用的列
    #data = data[['item_id','commentCount', 'goodCount','poorCount', 'afterCount', 'videoCount','old_price', 'price', 'shop', 'title']]
    df = df[['commentCount', 'old_price', 'price', 'shop', 'publish_date', 'author','title']]

    #根据出版的时间，求出月平均的评论数
    df['comment_count_monthly'] = df['commentCount'].div((pd.Timestamp('2020-07') - pd.to_datetime(df['publish_date'], format='%Y-%m')).dt.days/30)

    # 折扣价格
    f = lambda x: x['old_price']-x['price']
    df['discount_price'] = df.apply(f, axis=1)

    #根据书的价格分类， 2:高， 1:中， 0:低
    discount_price = pd.cut(df.discount_price, [0, 5, 15,500], labels=[u"0", u"1", u"2"])
    df['discount_price'] = discount_price


    # 书的类型  1：实战 ， 2：理论， 3：综合
    def practice_theory_category(x):
        is_practice = False
        if '实战' in  x['title'] or '实践' in  x['title'] or '案例' in x['title']  or '动手' in x['title'] or '应用' in x['title'] or '代码' in x['title'] :
            is_practice = True
        if '理论' in x['title'] or '基础' in x['title'] or '数学'  in x['title'] or '原理' in x['title']  or '算法'in x['title'] :
            if is_practice:
                return 3
            else:
                return 2
        if is_practice:
            return 1
        return np.nan

    df['practice_theory_category'] = df.apply(practice_theory_category, axis=1)

    # 是否是深度学习类型， 1：深度学习 ，0：传统机器学习
    def traditional_deep_category(x):
        book_category = 0
        if '深度学习' in  x['title'] or 'GAN' in  x['title'] or '对抗网络' in x['title']  or 'TensorFlow' in x['title']  :
            book_category = 1

        return book_category

    df['traditional_deep_category'] = df.apply(traditional_deep_category, axis=1)

    #是否海外作者 1:是， 0: 不是
    def is_author_foreigner(x):
        foreigner = 0
        if '(' in  x['author'] and ')' in  x['author'] :
            foreigner = 1

        return foreigner

    df['is_author_foreigner'] = df.apply(is_author_foreigner, axis=1)


    #删掉月平均的评论数是0的数据
    df = df[~(df.comment_count_monthly==0)]

    #根据月平均排序
    df = df.sort_values(by='comment_count_monthly', ascending=False)

    #根据评论多少分类，1：hot, 2, best_selling, 3: ordinary, 4: unsalable
    selling_top = pd.cut(df.comment_count_monthly, [0, 10, 100, 500, 1000000], labels=[u"4", u"3", u"2", u"1"])
    df['selling_top'] = selling_top


    #根据书的价格分类， 2:高， 1:中， 0:低
    price = pd.cut(df.price, [0, 20, 40,500], labels=[u"0", u"1", u"2"])
    df['price'] = price


    df = df[['price',  'discount_price', 'practice_theory_category', 'traditional_deep_category', 'is_author_foreigner', 'selling_top']]

    df.dropna(inplace=True)
    #保持预处理过的数据
    df.to_csv('final_data.csv', encoding='utf-8', index=False)
    #print(data.head(10))

def preprocessing2():
    df = pd.read_csv('data.csv', encoding='utf-8')
    print(df.loc[:, 'publish_date'].values)

    # 去掉一些特殊字符
    f = lambda x: x['publish_date'].replace('[','').replace(']','').replace("'",'')
    df.loc[:, 'publish_date'] = df.apply(f, axis=1)
    df.to_csv('final_data.csv', encoding = 'utf-8', index=False)

    # 删掉没有出版时间的行
    df = pd.read_csv('final_data.csv', encoding='utf-8')
    df = df.dropna(subset=['publish_date'])
    df.to_csv('final_data.csv', encoding = 'utf-8', index=False)


    # 删掉大牛的书籍
    df = pd.read_csv('final_data.csv', encoding='utf-8')
    df = df[~ df['author'].str.contains('周志华','李航')]
    df = df[~ df['title'].str.contains('周志华','李航')]

    #删掉一些没用的列
    #data = data[['item_id','commentCount', 'goodCount','poorCount', 'afterCount', 'videoCount','old_price', 'price', 'shop', 'title']]
    df = df[['commentCount', 'old_price', 'price', 'shop', 'publish_date', 'author','title']]

    #根据出版的时间，求出月平均的评论数
    df['comment_count_monthly'] = df['commentCount'].div((pd.Timestamp('2020-07') - pd.to_datetime(df['publish_date'], format='%Y-%m')).dt.days/30)

    # 折扣价格
    f = lambda x: x['old_price']-x['price']
    df['discount_price'] = df.apply(f, axis=1)


    # 书的类型  1：实战 ， 2：理论， 3：综合
    def practice_theory_category(x):
        is_practice = False
        if '实战' in  x['title'] or '实践' in  x['title'] or '案例' in x['title']  or '动手' in x['title'] or '应用' in x['title'] or '代码' in x['title'] :
            is_practice = True
        if '理论' in x['title'] or '基础' in x['title'] or '数学'  in x['title'] or '原理' in x['title']  or '算法'in x['title'] :
            if is_practice:
                return 3
            else:
                return 2
        if is_practice:
            return 1
        return np.nan

    df['practice_theory_category'] = df.apply(practice_theory_category, axis=1)

    # 是否是深度学习类型， 1：深度学习 ，0：传统机器学习
    def traditional_deep_category(x):
        book_category = 0
        if '深度学习' in  x['title'] or 'GAN' in  x['title'] or '对抗网络' in x['title']  or 'TensorFlow' in x['title']  :
            book_category = 1

        return book_category

    df['traditional_deep_category'] = df.apply(traditional_deep_category, axis=1)

    #是否海外作者 1:是， 0: 不是
    def is_author_foreigner(x):
        foreigner = 0
        if '(' in  x['author'] and ')' in  x['author'] :
            foreigner = 1

        return foreigner

    df['is_author_foreigner'] = df.apply(is_author_foreigner, axis=1)


    #删掉月平均的评论数是0的数据
    df = df[~(df.comment_count_monthly==0)]

    #根据月平均排序
    df = df.sort_values(by='comment_count_monthly', ascending=False)

    #根据评论多少分类，1：hot, 2, best_selling, 3: ordinary, 4: unsalable
    selling_top = pd.cut(df.comment_count_monthly, [0, 10, 100, 500, 1000000], labels=[u"4", u"3", u"2", u"1"])
    df['selling_top'] = selling_top


    df = df[['price',  'discount_price', 'practice_theory_category', 'traditional_deep_category', 'is_author_foreigner', 'selling_top']]

    df.dropna(inplace=True)
    #保持预处理过的数据
    df.to_csv('final_data.csv', encoding='utf-8', index=False)
    #print(data.head(10))

def preprocessing1():
    df = pd.read_csv('data.csv', encoding='utf-8')
    print(df.loc[:, 'publish_date'].values)

    # 去掉一些特殊字符
    f = lambda x: x['publish_date'].replace('[','').replace(']','').replace("'",'')
    df.loc[:, 'publish_date'] = df.apply(f, axis=1)
    df.to_csv('final_data.csv', encoding = 'utf-8', index=False)

    # 删掉没有出版时间的行
    df = pd.read_csv('final_data.csv', encoding='utf-8')
    df = df.dropna(subset=['publish_date'])
    df.to_csv('final_data.csv', encoding = 'utf-8', index=False)

    # 删掉大牛的书籍
    df = pd.read_csv('final_data.csv', encoding='utf-8')
    df = df[~ df['author'].str.contains('周志华','李航')]
    df = df[~ df['title'].str.contains('周志华','李航')]

    #删掉一些没用的列
    #data = data[['item_id','commentCount', 'goodCount','poorCount', 'afterCount', 'videoCount','old_price', 'price', 'shop', 'title']]
    df = df[['commentCount', 'old_price', 'price', 'shop', 'publish_date', 'author','title', 'url']]

    #根据出版的时间，求出月平均的评论数
    df['comment_count_monthly'] = df['commentCount'].div((pd.Timestamp('2020-07') - pd.to_datetime(df['publish_date'], format='%Y-%m')).dt.days/30)

    # 折扣价格
    f = lambda x: x['old_price']-x['price']
    df['discount_price'] = df.apply(f, axis=1)


    # 书的类型  1：实战 ， 2：理论， 3：综合
    def practice_theory_category(x):
        book_category = ''
        if '实战' in  x['title'] or '实践' in  x['title'] or '案例' in x['title'] or '实例' in x['title']  or '动手' in x['title'] or '应用' in x['title'] or '代码' in x['title'] :
            book_category = 'practice'
        if '理论' in x['title'] or '基础' in x['title'] or '数学'  in x['title'] or '原理' in x['title']  or '算法'in x['title'] :
            if book_category=='practice':
                book_category = 'both'
            else:
                book_category ='theory'
        return book_category

    df['practice_theory_category'] = df.apply(practice_theory_category, axis=1)

    # 是否是深度学习类型， 1：深度学习 ，0：传统机器学习
    def traditional_deep_category(x):
        book_category = np.nan

        if '机器学习' in x['title'] or '贝叶斯' in x['title']:
            book_category = 'traditional'

        if '深度' in  x['title'] or 'GAN' in  x['title'] or '对抗' in x['title']  or \
                'TensorFlow' in x['title']  or '强化学习' in  x['title'] or  '目标检测' in  x['title'] or  '神经网络' in  x['title']   :
            book_category = 'deep'

        return book_category

    df['traditional_deep_category'] = df.apply(traditional_deep_category, axis=1)

    #是否海外作者 1:是， 0: 不是
    def is_author_foreigner(x):
        foreigner = 'native'
        if '(' in  x['author'] and ')' in  x['author'] :
            foreigner = 'foreigner'
        return foreigner

    df['is_author_foreigner'] = df.apply(is_author_foreigner, axis=1)


    #删掉月平均的评论数是0的数据
    df = df[~(df.comment_count_monthly==0)]

    #根据月平均排序
    df = df.sort_values(by='comment_count_monthly', ascending=False)

    #根据评论多少分类，1：hot, 2, best_selling, 3: ordinary, 4: unsalable
    #selling_top = pd.cut(df.comment_count_monthly, [0, 10, 100, 500, 1000000], labels=[u"4", u"3", u"2", u"1"])
    #df['selling_top'] = selling_top


    #根据书的价格分类， 高， 中， 低
    price = pd.cut(df.price, [0, 40, 80,500], labels=[u"low", u"middle", u"high"])
    df['price'] = price

    df = df[['url','price', 'title' , 'shop', 'author', 'practice_theory_category', 'traditional_deep_category', 'is_author_foreigner', 'comment_count_monthly']]

    df.dropna(inplace=True)

    df = df.head(150)

    #保持预处理过的数据
    df.to_csv('final_data.csv', encoding='utf-8', index=False)
    #print(data.head(10))


def show_bar_diagram(x_data, y_data, ):

    plt.rcParams['font.sans-serif'] = ['SimHei']  # 显示中文标签
    plt.rcParams['axes.unicode_minus'] = False  # 这两行需要手动设置

    plt.bar(x=x_data, height=y_data, color='steelblue', alpha=0.8)

    plt.title('特征的重要性')
    #plt.xticks(x_data, x_data, rotation=-20)
    # 显示图例
    plt.legend()
    plt.show()

def DecisionTree_important_feacture():
    data = pd.read_csv('final_data.csv', encoding='utf-8')
    # pandas 读取 csv 文件，header = None 表示不将首行作为列
    #print(np.isnan(data).any())

    # sparse=False意思是不产生稀疏矩阵
    vec = sklearn.feature_extraction.DictVectorizer(sparse=True)
    # 先用 pandas 对每行生成字典，然后进行向量化
    feature = data[[ 'price','discount_price','practice_theory_category', 'traditional_deep_category', 'is_author_foreigner']]
    #feature = data[['practice_theory_category', 'traditional_deep_category', 'is_author_foreigner']]

    X_train = vec.fit_transform(feature.to_dict(orient='record'))
    # 打印各个变量
    print('show feature\n', feature)
    print('show vector\n', X_train)
    print('show vector name\n', vec.get_feature_names())
    print('show vector name\n', vec.vocabulary_)
    Y_train = data['selling_top']
    #clf = tree.DecisionTreeClassifier(criterion='entropy', max_depth= 4)
    clf = tree.DecisionTreeClassifier(criterion='entropy')
    clf.fit(X_train, Y_train)
    print('feature_importances_:', clf.feature_importances_)
    show_bar_diagram(vec.get_feature_names(),clf.feature_importances_ )


def RandomForestClassifier_important_feacture():
    data = pd.read_csv('final_data.csv', encoding='utf-8')
    # pandas 读取 csv 文件，header = None 表示不将首行作为列
    #print(np.isnan(data).any())

    # sparse=False意思是不产生稀疏矩阵
    vec = sklearn.feature_extraction.DictVectorizer(sparse=False)
    # 先用 pandas 对每行生成字典，然后进行向量化
    feature = data[[ 'practice_theory_category', 'traditional_deep_category', 'is_author_foreigner']]
    #feature = data[['price', 'discount_price', 'practice_theory_category', 'traditional_deep_category', 'is_author_foreigner']]

    X_train = vec.fit_transform(feature.to_dict(orient='record'))
    # 打印各个变量
    print('show feature\n', feature)
    print('show vector\n', X_train)
    print('show vector name\n', vec.get_feature_names())
    print('show vector name\n', vec.vocabulary_)
    Y_train = data['selling_top']

    clf = RandomForestClassifier(random_state=42)
    clf.fit(X_train, Y_train)
    print('feature_importances_:', clf.feature_importances_)
    show_bar_diagram(vec.get_feature_names(), clf.feature_importances_)


def compare_in_certain_column(columnName, title, rotation = 0):

    plt.rcParams['font.sans-serif'] = ['SimHei']  # 显示中文标签
    plt.rcParams['axes.unicode_minus'] = False  # 这两行需要手动设置
    data = pd.read_csv('final_data.csv', encoding='utf-8')

    grp1 = data.groupby([columnName])[columnName].agg('count')
    dict1 = grp1.to_dict()
    print(dict1)
    y_data = [i for i in dict1.values()]
    x_data = [i for i in dict1.keys()]

    plt.bar(x=x_data, height=y_data, color='steelblue', alpha=0.8 )

    for x1, yy in zip(x_data, y_data):
        plt.text(x1, yy, '%s' % yy)

    plt.xticks(x_data, x_data, rotation=rotation)

    # 设置标题
    plt.title(title)
    # 为两条坐标轴设置名称
    plt.ylabel("数量")
    # 显示图例
    plt.legend()
    plt.show()

def title_word_cloud():
    # 打开文本

    data = pd.read_csv('final_data.csv', encoding='utf-8')
    titles = data['title'].tolist();
    text = ''
    for title in titles:
        text = text+' '+title

    # 中文分词
    print(jieba.cut(text))
    text = ' '.join(jieba.cut(text))
    print(text)

    # 生成对象
    wc = WordCloud(font_path='simsun.ttc', width=800, height=600, mode='RGBA', background_color=None).generate(text)

    # 显示词云
    plt.imshow(wc, interpolation='bilinear')
    plt.axis('off')
    plt.show()


def title_word_cloud_pic():
    # 打开文本
    data = pd.read_csv('final_data.csv', encoding='utf-8')
    titles = data['title'].tolist();
    text = ''
    for title in titles:
        text = text + ' ' + title

    # 中文分词
    text = ' '.join(jieba.cut(text))

    # 生成对象
    #mask = np.array(Image.open("1.jpg"))
    mask = np.array(Image.open("3.png"))
    wc = WordCloud(mask=mask, font_path='simsun.ttc', mode='RGBA', background_color='white').generate(text)

    # 从图片中生成颜色
    image_colors = ImageColorGenerator(mask)
    wc.recolor(color_func=image_colors)

    # 显示词云
    plt.imshow(wc, interpolation='bilinear')
    plt.axis("off")
    plt.show()

    # 保存到文件
    #wc.to_file('wordcloud5.png')

def scatter_plot(dim1, dim2):
    data = pd.read_csv('final_data.csv', encoding='utf-8')
    data =data[data[dim1]<160]
    data = data[data[dim2] > 0]
    #data.head(200)

    selling_top_dic = {1: 'hot', 2: 'best_selling', 3: 'ordinary', 4: 'unsalable'}
    print(selling_top_dic[1])

    for t, marker, color in zip(range(1,5), "s>od", ('r','b','g','y')):
        # zip()接受任意多个序列参数，返回一个元组tuple列表
        # 用不同的标记和颜色画出每种品种iris花朵的前两维数据
        # We plot each class on its own to get different colored markers
        plt.scatter(data[data['selling_top'] == t][dim1],
                    data[data['selling_top'] == t][dim2], marker=marker, c=color, label=selling_top_dic[t])
    plt.xlabel(dim1)
    plt.ylabel(dim2)

    plt.legend()
    plt.show()


def show_scatter_diagram():
    data = pd.read_csv('final_data.csv', encoding='utf-8')
    plt.scatter(data['price'], data['discount_price'],c=data['selling_top'] , marker='o')
    plt.xlabel('price')
    plt.ylabel('discount_price')
    plt.show()


if __name__ == '__main__':
    #preprocessing() # 用随机森林或者决策树分析特征的重要性
    #DecisionTree_important_feacture()
    #RandomForestClassifier_important_feacture()
    #preprocessing1() # 分析单独的字段的预处理
    #compare_in_certain_column('practice_theory_category','书的内容比较(实战还是理论)')
    #compare_in_certain_column('traditional_deep_category', '传统机器学习与深度学习比较')
    #compare_in_certain_column('shop', '出版社比较', -30)
    #compare_in_certain_column('is_author_foreigner', '国外作者与国内作者比较')
    #title_word_cloud()
    #title_word_cloud_pic()
    #show_scatter_diagram()
    #preprocessing2()
    scatter_plot('price','discount_price')
茫茫人海一粒沙
关注
专栏目录
大数据分析案例-基于随机森林算法探究电商网站推销商品的影响因素
m0_64336780的博客
06-22 6054
目录1.项目背景2.项目简介2.1项目内容2.2数据说明2.3技术工具3.项目实施步骤3.1数据分析步骤3.1.1导入模块3.1.2获取数据3.2数据描述性分析3.2.1查看数据维度3.2.2查看数据类型3.3数据预处理3.4数据可视化分析3.4.1客户产品购买情况分析3.4.2客户属性分析3.5建立模型3.5.1特征工程3.5.2准备数据 3.5.3构建模型4.实验总结4.1结果分析4.2改善建议4.3实验心得在我们逛电商网站的时候，经常会收到一些推销活动的通知，但是我们之前也没关注过那个商品，这些电商网
实战四十七：基于机器（逻辑回归随机森林线性回归）学习预测销售门店的商品销量详细教程（代码+数据）
01-08 1312
实战四十七：基于机器（逻辑回归随机森林线性回归）学习预测销售门店的商品销量详细教程（代码+数据）
畅销榜上的机器学习、深度学习书单！
weixin_34019144的博客
11-06 391
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度等多门学科，专门研究计算机怎样模拟或实现人类的学习行为。机器学习是人工智能的核心，是使计算机具有智能的根本途径。 近年来，机器学习领域受到越来越多的关注，相关的机器学习算法开始成为热点，知乎上同类问题同样不少，如机器学习该怎么入门？机器学习、数据挖掘 如何进阶成为大神？普通程...
机器学习入门-推荐商品
含笑
08-15 1487
学习目标分类模型 流行度分类模型 协同过滤-》同现矩阵（对称矩阵） 同现矩阵正规化流行度过大的问题：矩阵补全问题特征+矩阵分解（混合模型）推荐系统的性能度量最优推荐 准确率=1 召回率=1 音乐推荐系统
爬取京东图书价格信息分析
热门推荐
mighty13的专栏
09-23 2万+
因为工作关系，经常需要整理一些书目信息，由于对于图书方面大家也不太了解，所以提交过来的书目经常信息不全。再者因为某些原因需要到京东选一些书，懒得从京东复制粘贴信息。所以做了个简易爬虫，获取图书的书名、作者、ISBN、出版社、出版日期和定价。 其他信息倒还简单，就是定价信息稍微麻烦点，京东价格不是直接写在HTML里面的，而是异步加载的，通过firebug可以看到。 简单分析下，上面的jso
第二阶段：机器学习经典算法-02决策树与随机森林-1.决策树概述
08-30
1.决策树与随机森林是机器学习领域经典算法，主要用于分类和回归任务。 2.决策树通过构造树形结构进行一系列决策，既能做分类也能做回归。 05:41 决策树预测操作 1.预测时，数据从树根开始，根据节点特征向下遍历。 ...
Python机器学习(scikit-learn)：监督学习 - 决策树、随机森林、梯度提升决策树-谢TS的博客.pdf
07-19
总之，Python的scikit-learn库提供了强大的工具，使得开发者可以轻松地利用决策树、随机森林和梯度提升决策树进行机器学习。通过理解这些模型的工作原理和优化技巧，我们可以构建出更准确、更稳健的预测系统。
人工智能-机器学习-决策树-决策树分类（ID3，C4.5，CART）
07-09
决策树分类（ID3，C4.5，CART） 三种算法的区别如下： (1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的； (2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率...
【中秋特别学习资源】第二阶段：机器学习经典算法-02决策树与随机森林-3.决策树构造实例
08-30
决策树构造实例分析 1.通过具体例子说明如何选择根节点和构建决策树的过程。 2.首先计算原始数据的熵值，然后尝试不同的属性作为根节点进行划分。 3.通过计算每个候选节点的熵值变化和概率值，选择最优的根节点。 4....
人工智能第二阶段：机器学习经典算法-02决策树与随机森林-4.信息增益
最新发布
08-30
该资源主要讲述了决策树中熵值和信息增益的概念及其在节点选择中的应用。首先，熵值表示数据的混乱程度或纯度，熵值降低意味着数据纯度提高，分类效果增强。接着，引入信息增益概念，即原始熵值与划分后熵值的差，...
python工具箱查询手册书籍京东_用python爬取京东图书排行榜并进行数据整合
weixin_28968525的博客
12-30 328
经常在京东买书，突发奇想，向看看京东畅销图书有哪些，于是，就有有了下面的代码。python版本：3.5编辑器：jupyter首页链接：http://book.jd.com/booktop/0-0-0.html?category=1713-0-0-0-10005-1#comfort因为今年还没过完，所以2017年全年的排行榜还没有出来，所以，这里就爬取2016年的开始吧：目的：爬取京东2016年图书...
scrapy爬取京东图书的数据
for_syq的博客
05-14 867
strat_url:https://book.jd.com/booksort.html 1.创建项目 scrapy startproject jdspider cd jdspider scrapy genspider jd jd.com 然后会出现以下文件 2.修改项目设置（settings.py） 3.编写爬取内容字段（items.py） # -*- coding: utf-8...
jd图书商城爬取
qq_45020131的博客
12-04 801
目标： 抓取京东图书包含图书的名字、封面图片、图书url地址、出版社、出版时间、价格、图书所属大分类、图书所属的小分类，分类的url地址，数据保存在本地 思路 由于爬取的数量较多，所以这里使用scrapy框架对数据进行抓取 找到start_url，链接为：https://book.jd.com/booksort.html 将数据抓取完毕之后保存在本地，写好item_pepiline 代码 # ...
python爬取京东图书_[爬虫python]抓取京东图书（机器学习）信息100页（价格、折扣价、书名、作者、好评数、差评数、评论总数）,爬取,的,打折,后,数差,总评...
weixin_39531229的博客
02-04 336
import requestsfrom lxml import etreefrom concurrent import futuresimport jsonimport pandas as pdclass CrawlDog:comment_headers = {'Referer': 'https://item.jd.com/%s.html' % 12615065,'Accept-Charset':...
京东图书爬取案例
都不是宝贝
07-05 1002
对于京东图书的爬取https://book.jd.com/booksort.html 步骤： 访问主页地址，获取大分类列表 循环大分类，获取小分类列表 循环小分类，分别访问url，获取图书列表 获取所需信息，构建next_page，生成一个新的请求 步骤很简单，中间有一些需要注意的地方： ① element和获取的请求有些许不同，如果不成功，多半是这边的问题 ② url记得加上 https: ③ 再循环小分类列表的时候，需要共享item[“big_cate”]，所以在构造新请求的时候，记得使用deep
大数据在各领域应用之销量预测
weixin_49880348的博客
07-04 1551
01概述 用户的历史购物行为等大数据可以精准地预测销量，为电商的供应链和库存等提供参考意义。通过海量的大数据，我们可以进一步了解用户需求，甚至可以在用户没有下单的情况下就精准预测到他想购买的商品，为用户带来更好的体验。 例如，通过分析用户浏览和购物行为等大数据，我们可以预测出配送站周边的iPhone 的需求量，提前把商品运输到配送站。这样，在用户真正下单以后，配送员就不用等待从总部发起的物流，而是直接在配送站提取手机配送给用户，这样会更加省时、高效。 02销量预估在电商中的应用..
python 销量预测模型_如何做电商的销量预测模型？
weixin_39935777的博客
12-18 7725
平台前期做过一篇文章，以京东为案例，并回溯了实践中所使用到的需求预测的方法，现将文章作为回答，希望能给问者带来帮助。关于京东中国最大的零售平台之一，总用户超3亿，90%的订单可实现“当日或次日”送达，腾讯、沃尔玛和谷歌的战略合作伙伴。从2012年到2018年第一季度销售额逐年增长，覆盖全国99%的地区，共有超过500家仓库。全球电商概况截止2017年，全球三大电商市场分别为：美国，超4千亿销售额；...
基于ARIMA、SVM、随机森林销售的时间序列预测
拓端研究室TRL
12-07 2097
视频：机器学习助推精准销量预测 part1支持向量机SVM、支持向量回归SVR和R语言网格搜索超参数优化实例，时长07:24扎对，将产品粗略分为：基本款和时装。对于基本款，每年都没什么大变化，国际流行的影响也不大，那么可以进行长计划生产。对于时装，决定潮流走向的决策权不在某个区域，一个地方的买手们也没有成长到可以准确预判国际流行趋势，所以需要结合不同区域的各种因素，进行预测。对应的，在新货构成中，销量预测策略为：基本款计划生产，时尚款机动调整。根据服装零售业务营销要求，运用多种数据源分析实现精准销量预测。沙
爬取jd销量最高的商品名称和评论数
weixin_42681868的博客
03-01 734
参考博客： https://blog.csdn.net/menghuannvxia/article/details/51333689 代码： import requests import re from urllib.parse import quote from lxml import etree import sys def get_jd_data(keyword): keyw...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茫茫人海一粒沙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值