Python 网络爬虫入门详解!!

注:博主的基础篇文章适合萌新学习python并且里面的内容会持续的更新!
说明:并非是最优代码,但程序完全正确!因为此时作者也处在学习阶段!

爬虫主要分为通用爬虫和聚焦爬虫
通用爬虫:百度,360,搜狐,谷歌,必应……
原理:
(1)抓取网页
(2)采集数据
(3)数据处理
(4)提供检索服务
HTTP协议和抓包工具
http服务端口是80端口
https服务端口号是443端口,https协议实在http协议上加入了ssl层,进行了加密
url(统一资源定位符)
组成部分:scheme://host:port/path/?query-string=xxx #anchor
一个url有以下几部分组成:
scheme:代表的是访问协议,一般为http或https以及ftp等
host:主机名,域名。比如www.baidu.com
port:端口号,默认为80端口
path:查找路径
query-string:查询字符串(在?后面的内容)
anchor:锚点,前端用来做页面定位的(在#后面的内容)

持续不断地更新!!

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值