Hakutaku白泽

        这一段博主在禹州进行项目实训，恰好碰到的主题是博主最擅长的爬虫。本来前一段时间写了一篇腾讯漫画js逆向爬虫，但是最近这两天由于腾讯漫画源代码的更改导致在js逆向的最后获取数据解密时屡次报出编码错误。思路没问题，问题就出在js逆向上（有兴趣的朋友可以通过python逆向解决编码问题或者是nodejs、excejs直接执行解析js代码）。因此，只好随便拿了一个几个月前所写的表情包爬虫项目作为替代。目录源代码表情包

        前一段假期期间，博主已经自学完了Python反爬虫的相关内容，面对各大网站的反爬机制也都有了一战之力。可惜因实战经验不足，所以总体来说还是一个字——菜。前两天，在学习并实战爬取了博主最爱看的腾讯动漫后，博主对于js逆向的相关反爬技术有了更加深入的理解。目录目标网站爬取分析反爬思路分析反爬解密分析目标网站爬取分析反爬思路分析      &nbs

        2020年4月17日，博主自学爬虫已经有了一个月的时光。在这一个月里，我相继学习了爬虫基础、两个基本库（urllib库、requests库）、三大解析库（XPath库、Beautiful Soup库、pyquery库）以及Selenium库。但是在今天，通过测试谷歌插件Web Scraper进行网页爬取，发现这个小插件入门及其简单。因此，博主学了十分钟后当机立断爬取了Bilibili数据进行测试，并作此博客进行记

        这两天博主在摸鱼时，偶然间接触到了流媒体的概念，一时间来了兴致。再加上之前博主有着七、八年的视频制作经验，深知视频素材获取的不易；以及面对各大网站付费VIP视频、超前点播视频破解的好奇。因此，打算利用自己所学的python网络爬虫的知识，通过编写代码实现获取VIP视频解析m3u8链接完成付费视频的下载功能。目录流媒体流媒体的介绍流媒体的分类m3u8是什么？VIP视频解析常用的VIP视频解析网站VIP视频解析m

        关于使用Python爬虫爬取教务网络管理系统的学生成绩，实际上博主在几个月前上课期间就已经写好了。记得当时是因为嫌查成绩麻烦懒得登录网页、恰好又学习了Python爬虫所以萌发了运行代码一键爬成绩的想法（我真是个小机灵鬼x懒是人类进步的根源）。接下来我先记录、分析一下当时爬取教务网络管理系统所遇到的问题，然后展示我所编写的代码。思路分析      &n