qq_46244851的博客

v会拒绝

今天因为需要做了一个爬取知网博硕士论文及中国专利的爬虫，在制作的过程中遇到了不少坑，在网上查资料时都是很老的资源，在现在知网的反爬虫下不起作用，所以我来写这篇文章来供大家参考。（这篇文章主要介绍通过改写获得的网址来避开知网的反爬机制，完成普通文章和以表格为主体的html代码的信息的抓取）这篇代码主要是抓取指望中关键字为保护渣的博硕士论文以及中国专利信息，其中中国专利信息较难抓取，主要是因为专利的...

BeautifulSoup是一种较为常用的解析库，如果你觉得用正则表达式来解析网页过于繁琐，需要写较长的 正则表达式，那么beautifulsoup将是你的好选择。首先选择方法主要分为标签选择和css选择器选择，可以根据个人喜好来选择使用，当然我更喜欢css选择。更便捷也更直接。1.引入方式from bs4 omport BeautifulSoupsoup=Beautiful...

"wb"就是以二进制的方式进行写，同理，"rb"就是以二进制的方式进行读。 2.cookie就相当于你在商店（网址）上买了（登录）东西（注册信息），人家给你一张会员卡（cookie),这样的话，下次你再去买东西的话（登陆网址）的话，他能认出你，并且提供给你相应的服务。 ![这是我在其他几个好的博客主的文章上找来的](https://img-blog.csdnimg.cn/202002052...