爬虫
coo1__
保持努力和悄无声息的优秀是你现在需要做的事。
展开
-
爬虫-数据处理
数据提取数据提取就是从响应中获取想要的数据的过程数据分类非结构化数据:html等处理方法:正则表达式、xpath结构化数据:json、xml等处理方法:转化为python数据类型抓包抓包(packet capture)就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作。JSONJSON(JavaScript Object Notati...原创 2019-08-29 18:37:13 · 548 阅读 · 0 评论 -
爬虫-requests库
代表重点爬虫的基本概念爬虫的定义 *· 网络爬虫,又称爬虫、网络蜘蛛或网络机器人。就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。· 只要是浏览器能做的事情,原则上爬虫都能做。爬虫的分类 *通用爬虫:通常指搜索引擎的爬虫流程:抓取网页–>数据存储–>预处理–>提供检索服务、网站排名(pagerank算法)聚...原创 2019-08-29 09:41:04 · 159 阅读 · 0 评论