爬虫
pythoncrawler
编程小白
展开
-
爬虫
需要的步骤 1.使用python发送服务器请求 2.请求响应之后,会得到相应对象response(源码,以及其他的响应信息),response.read( )-------源码信息-----字节 如果需要的是网页的源码信息 字节.decode() 转换成字符串,默认按照utf-8编码,将字节转换成字符串 3.使用抓取工具(正则表达式)来对字符串信息进行处理 4.保存抓取 一、使用python发送...原创 2019-08-15 15:53:43 · 145 阅读 · 0 评论 -
案例:爬取名言网数据
爬虫练习者网站 这是一个国外的网站专门用来供爬虫学习者练习的网站,里面的源代码格式非常的规范,没有现在类似诸多网站的CSS渲染,适合爬虫初学者练习。进入网站后空白处电机右键,选择查看网页源代码或者在网站上点击ctrl+U查看源代码。 1.python向服务器发送请求 首先调用urlopen,re和csv模块 from urllib.request import urlopen import re,...原创 2019-08-15 19:33:59 · 759 阅读 · 0 评论