用Python分析了1980~2015年考研英语真题词汇，原来考研英语应该这样考！_爬虫分析历年专八真题词汇

本文统计的对象为1980年以来英语试卷所包含的词汇，并对其进行了分析和总结。

实现过程

(1)加载基础词汇

bw = open('data/basic_words.txt')
basicwords = []
for eachLine in bw:
   basicwords.append(sw.simplify_word(re.split("[^A-Za-z]", eachLine)[0].lower()))
   #print re.split("[^A-Za-z]", eachLine)[0]
print(len(list(set(basicwords))))
basicwords = list(set(basicwords))

(2)加载超纲词汇

notindagang = np.zeros(33)
chaogangword = {}
for j in range(33):
   for k in wy.eywords[j]:
       if k not in dw.dagangwords and k not in bw.basicwords:
           #notindagang[j] += 1
           if chaogangword.has_key(k):
               chaogangword[k] += 1
           else:
               chaogangword[k] = 1

for j in range(33):
   for k in wy.eywords[j]:
       if k not in dw.dagangwords and k not in bw.basicwords:
           if chaogangword[k] <= 2:
               notindagang[j] += 1
chaogangword = sorted(chaogangword.iteritems(), key = lambda e:e[1], reverse = True)
print(‘Chaogangword =’,chaogangword)
pnotindagang = [float(x) / len(wy.eywords[i]) for i,x in enumerate(notindagang)]

(3)词汇分析

def simplify_word(a):
   #如果已经可以判断是名词,动词,形容词,副词,连词
   if enumerate.is_noun(a) or enumerate.is_verb(a) or enumerate.is_adjective(a) or enumerate.is_adverb(a) or enumerate.is_connective(a):
       return a
   try:#测试是否为动词,如果是则返回
       enumerate.is_verb(enumerate.verb.present(a))
       return enumerate.verb.present(a)
   except:#否则继续检查
       pass
   
   #测试是否是名词
   if enumerate.is_noun(enumerate.noun.singular(a)):
       return enumerate.noun.singular(a)
   otherwordlist.append(a)
   #print a
   return a

(4)加载大纲词汇

dagang = open('data/5495大纲词汇.txt')
dagangwords = []
for eachLine in dagang:
   dagangwords.append(sw.simplify_word(re.split("[^A-Za-z]", eachLine)[0].lower()))
   #print re.split("[^A-Za-z]", eachLine)[0]
print(len(list(set(dagangwords))))
dagangwords = list(set(dagangwords))

(5)考研英语真题单词数据可视化

x33 = 1980*np.ones(33)+range(33)
x32 = 1981*np.ones(32)+range(32)

plt.figure('wordeachyear')
plt.plot(x33,wy.eywords_volume,'r--o',alpha = 0.5)
plt.grid(True)
plt.show()

plt.figure('notindagang')
plt.plot(x33,cgw.notindagang,'o-', alpha = 0.5)
plt.grid(True)
plt.show()

plt.figure('wn')
plt.plot(wy.eywords_volume,cgw.pnotindagang,'bo')
plt.show()


plt.figure('pchaogang')
plt.plot(x33,cgw.pnotindagang,'o-', alpha = 0.5)
plt.grid(True)
plt.show()

plt.figure('notinpast')
plt.bar(x33,nip.words_not_in_the_past, color = 'green', alpha = 0.5)
plt.grid(True)
plt.show()

plt.figure('wordsAppearLastTime')
plt.plot(x32, walt.es, 'b--o', alpha = 0.5)
plt.grid(True)


**（1）Python所有方向的学习路线（新版）**  

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。



![在这里插入图片描述](https://img-blog.csdnimg.cn/1f807758e039481fa866130abf71d796.png#pic_center)



**（2）Python学习视频**



包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)



**（3）100多个练手项目**

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**