最近学习了一下python的基础知识,大家一般对“爬虫”这个词,一听就比较熟悉,都知道是爬一些网站上的数据,然后做一些操作整理,得到人们想要的数据,但是怎么写一个爬虫程序代码呢?相信很多人是不会的,今天写一个针对新手入门想要学习爬虫的文章,希望对想要学习的你能有所帮助~~废话不多说,进入正文!
接下一篇文章: Python爬虫(二):爬虫获取数据保存到文件
一、准备工作
1、首先代码使用python3.x编写的,要有一个本地的python3环境。
python下载地址页面:https://www.python.org/downloads/release/python-370/
2、然后要有一个开发工具,推荐PyCharm,一款很好的Python交互IDE。Python自带编译器 – IDLE也可以。
PyCharm下载地址页面:https://www.jetbrains.com/pycharm/download/
3、准备工作都做好就可以做开发在IDE里编写代码程序了。
二、简单爬虫代码开发
以豆瓣网为例,爬取豆瓣官网页面,看看能获取到什么东西,代码如下:
代码:
# -*- coding: utf-8 -*-
import urllib.request
# 1、网址url --豆瓣网
url = 'http://www.douban.com'
# 2、直接请求 返回结果
response = urllib.request.urlopen(url)
# 3、获取状态码,如果是200表示获取成功
print ('状态码:',response.getcode())
# 4、读取内容
data = response.read()
# 5、设置编码
data = data.decode('utf-8')
# 6、打印结果
print (data)
运行结果:
截取部分代码如下,第一行是状态码:200,表明获取成功,下面是爬取到的豆瓣页面代码,由于内容过多,故截取以下部分内容。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,Python自动化测试学习等教程。带你从零基础系统性的学好Python!
👉[[CSDN大礼包:《python安装包&全套学习资料》免费分享]](安全链接,放心点击)
一、Python大礼包
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、 Python电子书
三、入门学习视频
四、 Python爬虫秘笈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
五、 数据分析全套资源
六、python副业兼职与全职路线
上述这份完整版的Python全套学习资料已经上传CSDN官方,如果需要可以微信扫描下方CSDN官方认证二维码 即可领取
👉[[CSDN大礼包:《python安装包&全套学习资料》免费分享]](安全链接,放心点击)