![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据采集
文章平均质量分 79
loftiest
这个作者很懒,什么都没留下…
展开
-
数据采集--re(正则表达式)抽取网页数据
正则表达式简称Regex或re,正规表示法或常规表示法。用于检索、替换符合某个模式的文本正则表达式是一段字符串,可以表示一段有规律的信息。re语法正则表达式-语法python中的正则表达式所有正则表达式相关的都在re包中re.compile() re匹配模型 两个参数(正则表达式,更改字符匹配规则)re.search() re字符串查找 三个参数(查找的字符串,被查找的字符串,更改字符匹配规则)re.findall() re匹配方法,返回所有结果,listre.sub() r原创 2021-12-16 09:00:00 · 5448 阅读 · 3 评论 -
数据采集—XPath抽取网页数据
XPath抽取网页数据XML是什么可扩展标记语言用来传输和存储数据用途XHTML用于描述可用的web服务的WSDL作为手持设备的标记语言的WAP和WML用于新闻feed的RSS语言描述资本和本体的RDF和OWL用于描述针对web的多媒体的SMIL语法规则所有XML元素都必须有关闭标签XML标签对大小写敏感XML必须正确地嵌套XML文档必须有根元素XML的属性必须加引号实体引用(实体引用的分号和字母间没有空格)< ; <原创 2021-12-03 22:18:16 · 1812 阅读 · 0 评论 -
数据采集—数据库基础及采集
数据库基础及采集数据库概述简介在管理各项信息工作的过程中产生或需要大量数据,数据库系统更有效存储、和管理日益重要的信息。各种概念Data:数据,是数据库中存储的基本对象,是描述事物的符号记录。Database:数据库,是长期存储在计算机内、有组织的、可共享的大量数据的集合。DBMS:数据库管理系统,是用户与操作系统之间的一层数据管理软件,主要用于对数据的管理和维护。DBS:数据库系统,计算机系统引入数据库后的系统。数据模型:用来抽象、表示、和处理现实世界中的数据和信息的工具,是对现实世界的原创 2021-12-02 22:53:38 · 2810 阅读 · 0 评论 -
数据采集—业务系统日志数据采集
业务系统日志数据采集业务系统的定义业务系统是指在一个专业/行业方面,比如人事系统、财务系统、物资系统等,从某一个方面从上到下的组织架构及所有的业务工作。拿企业业务系统来说,此系统解决的是公司外部的问题,即将一个公司生产的产品卖给他人。业务系统解决的问题让业务流程变的更加规范数据实时展示,并给出领导层决策历史数据长久保留并随时可查业务系统—ERPERP是企业资源计划的简称,由不同的功能模块组成的软件系统,建立在信息技术基础上。是一个信息高度集成的管理系统。核心业务包括:财务统计,会计管理原创 2021-11-26 18:26:42 · 3056 阅读 · 0 评论 -
数据采集—数据采集技术
数据采集技术综述数据采集是大数据产业的基石。数据采集的重点不在于数据本身,而在于如何才能解决数据运营中的实际商业问题。通过对数据采集技术获取的高质量数据的分析和挖掘,得到的结果对决策行为具有较高的指导性作用数据采集的定义数据采集,又称数据获取,是利用一种程序或装置从系统外部采集数据,经过数据清洗,最终输入到存储系统中。数据采集的特点自动化:以高自动化的方式采集并存入全面化:涵盖了全量采集和增量采集,不对数据采样多样化:采集方式不单一丰富化:采集的数据丰富,不只有基本的数据数据的类型原创 2021-11-26 18:25:07 · 10665 阅读 · 0 评论