用python获取网络数据
网络数据如何获取(爬取)
抓取网页,解析网页内容
- 抓取
- urllib内建模块
- urllib.request
- Requests第三方库
- Scrapy框架—开源的第三方框架
某些网站爬虫协议提供robots.txt文件
- 解析
- BeautifulSoup库
- re模块
用python获取本地函数
(1)open()
函数返回一个文件(file)对象
(2)文件对象可迭代
(3)有关闭和读写文件相关的函数方法
-f.read(),f.write(),f.readline(),f.readlines(),f.writelines()
-f.close(),f.seek()
推荐使用with语句来进行文件的读写以及异常的处理
readline()
读取一行数据
readlines()
读取多行数据
标准文件
当程序启动后,以下三种标准文件有效:
stdin
标准输入
stdout
标准输出
stderr
标准错误
print的实现方法
>>>import sys
>>>sys.stdout.write("hello")