第1章 数据挖掘之爬虫技术基础
1.1查看网页源代码
F12弹出来的东西叫做开发者工具,是进行数据挖掘的利器,对于爬虫来说,只需要会用下图的这两个按钮即可。
(1)选择按钮
![cc67bdbbecfcabdfc1615a149fda9516.png](https://i-blog.csdnimg.cn/blog_migrate/edc8a79db97f45c9a4c4451341129aea.jpeg)
点击一下它,发现它会变成蓝色,然后把鼠标在页面上移动移动,会发现页面上的颜色机会发生改变。当移动鼠标的时候,会发现界面上的颜色会发生变化,并且Elements里的内容就会随之发生变化。
(2) Elements元素按钮:
![d9341e1b677907ff864a923e67222bac.png](https://i-blog.csdnimg.cn/blog_migrate/968534bad1a893ced89341e09096922d.jpeg)
"Elements"选项卡里面的内容可以理解为就是网页的源代码,最后爬虫爬到的内容大致是这样。
另外一个获取网页源码的方式是在网页上右击选择"查看网页源代码"。
1.2网页结构初步了解
结构其实很简单,就是一个大框套着一个小框,一个小框再套着一个小小框,一般文本内容都是在最后的小框里。
前两行的
![52954ff56461f41bcd2044b293a567de.png](https://i-blog.csdnimg.cn/blog_migrate/10bd3cd3b1a22ee6b2a6c160716e5c77.jpeg)
与是固定写法,作用是将代码声明为HTML文档。
如果网页出现乱码(乱码就是中文显示成奇怪的符号),可以把charset="utf-8"中的utf-8改成gbk,这是两种不同的中文格式,各个浏览器可能各有不同。
1.3HTML基础知识
1.标题标签:
标题是通过
-
标签来定义的,一般格式为:
标题内容
。其中h1的字号最大,h6的字号最小。2.段落
标签:
段落是通过标签
来定义的,一般格式为:
段落内容
。3.链接标签:(定义链接)
链接是通过标签 来定义的,一般格式为:文本内容。如果想在一个新的标签页里打开百度首页,而不是把原网页覆盖了话,只要在"链接地址"的后面加上target=_blank即可
还有些常用的标签:定义表格的label标签、定义序号的
标签、定义图片的