尚硅谷爬虫学习第一天（3） 请求对象定制

#url的组成

#协议 http，https，一个安全，一个不安全。

#主机， 端口号     学过java 的肯定知道

沃日，以前面试运维的时候，问到主机地址，我懵逼了下，回了个8080

# 主机地址 80

# https 443

#mysql 3306

#oracle 1521

#redis 6379

学过java应该对这些端口烂熟于心了。

协议 主机 端口号  路径   参数   描点

urlopen方法模拟打开网页

response.read.decode('utf-8') 转换字节码，utf-8懂的都懂

https，安全协议反而爬不了了，只能爬简单的。

UA：特殊字符头，用户代理。

网站通过识别请求头中 User-Agent 信息来判断是否是爬虫访问网站。如果是，网站首先对该 IP 进行预警，对其进行重点监控，当发现该 IP 超过规定时间内的访问次数， 将在一段时间内禁止其再次访问网站。

识别ua，判断是否爬虫访问网站

_

可以标识你的信息

为什么的浏览器ua放的地方和视频不一样？

根据源码说了，可以传入url或者request object对象？

如果按照java的思想，意思是要我们new 一个request对象，我们把参数放进去就可以了？

这个视频感觉讲的不是很清楚，但是我理解的话，因为我们是爬虫发送的请求，是没有携带UA，所以我们无法过第一关的意思，然后就pass了，所以我们要包装下自己，把UA带上，然后再去请求htts。

怎么感觉b站上尚硅谷讲的不咋滴呀，讲的模糊不清，还要自己思考下，才能理解，真的很烦。

但是我好像失败了，这是什么鬼，我有种感觉，尚硅谷资料有点过期了，百度反扒升级了，仅仅是ua似乎不起效了。