python爬虫入门初步认识

首先我们要知道什么是爬虫,爬虫其实不是什么新鲜事物,对于没有听说过爬虫的伙伴,我对爬虫做一个大概的描述(仅以个人理解)。
如果你没有听说过爬虫,那你肯定知道百度搜索、谷歌搜索,这个和爬虫有什么关联呢?拿百度来说;当我们百度的时候所展现的页面是从哪里来的,当然从整个互联网里面筛选出来的,原因确实是这样的吗?抱歉还真的不是。其实搜索展示的页面信息是从百度的‘数据库‘里面筛选出来的。百度数据库为什么会有被人网站的信息呢?因为这都是一个所谓的百度蜘蛛早就把它们爬取然后保存到百度’数据库‘里面了。这个百度蜘蛛就简单地把它看作一个爬虫。说到这里我们大概对爬虫有一个简单的了解了。

python简单的爬虫技术,这里我用的是python3.x版面进行研究,主要对两个python库进行操作。在此之前你需要安装python3.x环境
1、urllib(python3.x官方基础模块)。
2、BeautifulSoup4(python3.x第三方模块)。使用前需要安装
BeautifulSoup4 window安装过程
打开命令行Win+R,输入

pip install beautifulsoup4
如果你既安装了python2.x也安装了python3.x,你需要输入下面的命令
pip3 install beautifulsoup4

验证是否已经安装成功,在命令行输入python进入python命令行环境,然后输入from bs4 import BeautifulSoup 如果没有报错,恭喜你安装成功了

这里来说一下urllib、beautifulSoup4这两个库的作用,
urllib->网页下载器,主要作用就是从网上爬取数据,
beautifulSoup4->把从urllib爬取的数据进行解析操作。

说了那么多,下面把实现代码呈上
#导入urllib 库
from urllib import request
from bs4 import BeautifulSoup
resp = request.urlopen("http://blog.csdn.net")
#打印出爬取内容,并以utf-8编码输出
print(resp.read().decode("utf-8 "))
这个代码运行没问题
#导入urllib 库
from urllib import request
from bs4 import BeautifulSoup
resp = request.urlopen("http://www.163.com")
#打印出爬取内容,并以utf-8编码输出
print(resp.read().decode("utf-8 "))
爬取163却发现报错了这是什么问题呢?
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值