赵雷的歌都讲的是什么

最新推荐文章于 2020-11-24 02:23:16 发布

「已注销」

最新推荐文章于 2020-11-24 02:23:16 发布

阅读量528

点赞数

分类专栏： python爬虫文章标签：网易云爬虫数据分析网易云

本文链接：https://blog.csdn.net/u013356254/article/details/98793438

版权

python爬虫专栏收录该内容

10 篇文章 1 订阅

订阅专栏

最近爬虫群里有一道面试题，《赵雷的歌都讲的什么》。
面试官为什么问这样的问题?他是怎么想的？他想通过这个问题考察我们哪些能力？

我尝试着做了这道题，有一些不同的收获，于是写出来分享给大家。
整体思路是抓取网易云关于赵雷的所有歌词，统计词频，最后显示出来。

阅读流程

效果展示
项目地址
核心代码
遇到的问题
总结

效果展示

在这里插入图片描述

项目地址

赵雷的歌

核心代码

反爬部分

def sign(data):
    random = '1' * 16 # 随机数
    text = json.dumps(data) 
    params = aes(text,'0CoJUm6Qyw8W8jud')#第一次加签
    params = aes(params,random)#第二次加签
    encSecKey = rsa(random.encode(),"010001",'00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7')
    return  {'params':params,
             'encSecKey':encSecKey  }

统计词频部分

加载自定义词典
```
jieba.load_userdict("words.txt")
```

加载停用词

with open('stop.txt',encoding='utf-8') as fr:
    stop_words = [word.strip()for word in fr.readlines() if word.strip()]

统计

def cut_words(datas):
    words = {}
    for data in datas:
        for line in data.split('\n'):
            tmps = jieba.cut(line)
            # print(stop_words,'==')
            tmps = [tmp for  tmp in tmps if tmp.strip() and tmp.strip() not in stop_words]
            for word in tmps:
                words[word]=words.setdefault(word,1)+1
    words = sorted(words.items(),key=lambda item:item[1],reverse=True)
    return dict(words)

云图显示

def gen_word_cloud(words):
    wordcloud = WordCloud(font_path='fonts/youyuan.TTF').generate_from_frequencies(words)
    plt.imshow(wordcloud)
    plt.axis("off")
    plt.show()

遇到的问题

网易云反爬
- 网易云的反爬类似快手的反爬，都是对参数进行两次aes加密，然后在对随机数进行rsa加密。
- js逆向的过程是一个套路
  - 找到lyric地址，进行debug
  - 查看调用栈，找到加密参数
  - 不断debug，找到入参（原始参数），加密函数
  - 重写
jieba分词效果
- 需要不断的尝试，找出合适的自定义词典，然后才能更好的进行分词。