身边很多非程序员朋友都想学一学爬虫来扩展自己的知识宽度,因此这里开一篇文章来汇总一下我初学的一些笔记和前期知识储备。
1.前期准备:
a.预备知识:
html5 前端语言 : https://www.runoob.com/html/html-tutorial.html --- 进行爬虫开发的时候需要对网页前端有一个大概的了解,建议多看一看,非常重要。
如果有时间,一定要顺便去学一下css和javascript,这两个也是重要的前端语言。
python 3.x 的正则表达式 : https://www.runoob.com/python3/python3-reg-expressions.html --- 这个是为了后期可以对抓到的数据进行清洗和组织,以便我们使用。
python 3.x的教程: https://www.runoob.com/python3/python3-tutorial.html --- 有些朋友可能对编程没有学习过,所以简单学一下,不需要很深入,你只需要知道一些基础的语法还有怎么装库 。
这些是大一点的分类的知识,当然了你还需要对requests还有bs4下的BeautifulSoup库有一个了解,其他的后续我会补上。
b.环境:
首先你需要下载一个python环