qq_45786520的博客

一、什么是CypherCypher 是一种声明式图查询语言，它允许对图进行表达性和高效的查询、更新和管理。它旨在适用于开发人员和运营专业人员。Cypher 设计简单但功能强大；可以轻松表达高度复杂的数据库查询，使您能够专注于您的领域，而不是迷失在数据库访问中。Cypher 借鉴了 SQL 的结构——查询是使用各种子句构建的。和SQL一样不区分大小写。二、Cypher 的使用。

数据仓库概念数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。传统的数据仓库是数据存储产品也是数据处理分析产品，能同事支持数据的存储和处理分析传统数据仓库所面临的挑战无法满足快速增长的海量数据存储需求无法有效处理不同类型的数据计算和处理能力不足构建在Hadoop平台之上的HiveHive本身不支持数据存储和处理，为用户提供了一种编程语言...

MapReduce概述MapReduce是一种分布式并行编程框架，借助一个集群通过多台机器同时并行处理大规模数据集MapReduce的策略MapReduce采用分而治之的策略。把庞大的数据集，切分成非常多的独立的小分片，然后为每个分片单独地启动一个map任务，最终通过多个map任务，并行地在多个机器上处理MapReduce的理念计算向数据靠拢而不是数据向计算靠拢要完成一次数据分析时，选择一个计算节点，把运行数据分析的程序放到计算节点上运行然后把它所涉及的数据，全部从各个不同的节点上面拉

NoSQL的概述NoSQL的特点灵活的扩展性灵活的数据模型与云计算密切相关传统关系数据库性能缺陷无法满足海量数据的管理需求无法满足高并发的需求无法满足高可扩展性和高可用性的需求MySQL集群方式的缺陷复杂性，整个集群部署管理配置都非常复杂延迟性，当主库压力较大时，就会带来较大的延迟扩容问题，整个集群压力过大时，需要增加新机器对整个数据集进行重新分区，非常复杂NoSQL数据库与关系数据库的比较数据库原理方面，关系数据库具有完备的关系代数理论作为基础；NoSQL数据库缺

HBase简介HBase就是BigTable的开源实现，是一个稀疏的多维度的排序的映射表，可以用来存储非结构化和半结构化的松散数据，通过水平扩展的方式，允许几千台服务器去存储海量文件HBase的特点高可靠高性能面向列可伸缩HBase与传统的关系型数据库的联系与区别数据类型方面，传统的关系数据库用的是经典的关系数据模型，有非常多的数据类型和存储方式；而HBase的数据模型就很简单，把存储的数据存储为未经解释的字符串，靠开发人员读取数据来解释数据类型。数据操作方面，在关系数据库当中定义

HDFS的实现目标兼容廉价的硬件设备实现流数据的读写支持大数据集支持简单的文件模型强大的跨平台兼容性HDFS的局限性不适合低延迟数据访问，不支持实时性的访问数据无法高效存储大量的小文件，小文件越多，搜索耗时越大不支持多用户写入，以及任意修改文件，只允许追加不允许修改...

大数据的关键技术：批处理技术、流计算、图计算、查询分析计算大数据处理架构Hadoop1. Hadoop简介apache软件基金会的开源软件，使用Java开发，但是Hadoop支持多种编程语言，有两大核心HDFS、MapReduceHadoop的特点：高可靠性。多太机器构成集群，冗余副本机制，部分机器发生故障，也不影响剩余机器的服务高效性。用多台机器来做计算，效率自然就高了高可拓展性。机器（节点）的数量没有限制低成本。可使用多个普通的pc机器构建集群高性能计算。Hadoop的应用现状

需求首先明确需求：爬取网易新闻新闻的标题和新闻详情页的内容注意项：先从首页获取对应的详情页的url每一个模块的新闻都是动态加载出来的，可配合selenium实现动态加载详情页面的爬取实现过程创建工程：scrapy startproject wangyiPro转入工程：cd wangyiPro创建爬虫文件：scrapy genspider wangyi www.xxx.com实现过程1.1 观察首页结构，定位模块观察网易新闻的首页，配套开发者工具，定位到需要爬取的模块，编写pars

最近在跟着网上的视频复习爬虫，记录一下xpath的使用xpath解析原理： 1、实例化一个etree对象，且需要将解析的页面源码数据加载到该对象中 2、调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容获取环境安装： pip install lxml如何实例化一个etree对象：from lxml import etree 1、将本地的html文件中的源码数据加载到etree对象中： etree.parse(filePath) 2、可以将网络上获取到的源码数

BeautifulSoup使用语法如何使用实例化BeautifulSoup对象： from bs4 import BeautifulSoup 对象的实例化： 1、将本地的html文档中的数据加载到该对象中 f = open('/test.html','r',encoding='utf-8') soup = BeautifulSoup(f,'lxml') 2、互联网上获取的页面源码加载到该对象中 page_text = response.text soup = Beaut

最近在跟着网上的视频复习爬虫，记录一下使用正则，爬取糗图百科中热图模块下的所有图片# -*-coding:utf-8-*-# 爬取糗图百科中热图模块下的所有图片import requestsimport reimport osif __name__=='__main__': headers = { 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)

一、简易网页采集器爬取搜狗搜索中对应词条的搜索结果页面# -*-coding:utf-8-*-import requests# UA伪装：User-Agent# 门户网站的服务器会检测对应请求的载体身份标识#if __name__=='__main__': # 将对应的User-agent封装到一个字典中 header={ 'User-Agent':'Mozilla / 5.0(X11;Linuxx86_64) AppleWebKit / 537.36(KH

重庆工程学院实验（实训）报告实验（实训）项目名称 奥运会数据集可视化分析学 时 2 实验（实训）地点 414实验（实训）日期 2021.5.18 成 绩 一、实验（实训）目的与要求；1.理解数据可视化的绘图方法2.掌握Tableau可视化步骤、原理和效果3.掌握Tableau仪表板的使用二、实验（实训）原理与内容；加载120年来的奥运会的csv数据，将参赛国家、参赛项目、参赛选手等情况做一份数据可视化。三、实验（实训）仪器设备、器材、工具、软件等；Tableau 2019.4四、

代码# 数据库emp如果存在就删除drop database if exists emp;# 创建数据库empCreate database emp# 默认中国字符集编码# 网页编码和数据库编码要对应起来，不然可能会乱码default character set=gb2312default collate=gb2312_chinese_ci;use emp;# 创建数据表Create table dept(deptID char(9) primary key , /* 列级完整性约

概念设计实体间的联系一对一联系 1：1一对多联系 1：n多对多联系 n:m概念模型的表示方法 — E-R模型E-R模型提供了表示实体、属性和联系的方法，是用来描述现实世界的概念模型。用“矩形框”表示实体；用“椭圆框”表示实体属性；用“菱形框”表示联系；用“无向边”进行连接。创建局部E-R图的基本步骤：进行需求分析，确定实体个数分析每个实体所具有的属性确定每个实体的主键（关键字）确定实体间的联系主要数据模型有层次模型、网状模型、关系模型关系模型数据结构关系模型的数据结

概念设计实体间的联系一对一联系 1：1一对多联系 1：n多对多联系 n:m概念模型的表示方法 — E-R模型E-R模型提供了表示实体、属性和联系的方法，是用来描述现实世界的概念模型。用“矩形框”表示实体；用“椭圆框”表示实体属性；用“菱形框”表示联系；用“无向边”进行连接。创建局部E-R图的基本步骤：进行需求分析，确定实体个数分析每个实体所具有的属性确定每个实体的主键（关键字）确定实体间的联系主要数据模型有层次模型、网状模型、关系模型关系模型数据结构关系模型的数据结

是以神经网络为核心的深度学习是机器学习的一个领域分支。深度学习看起来就像是一个黑箱机制，输入各种非结构化的数据之后输出来的预测结果。例如，输入一段语音，输出“Hello World”这样的文本；输入一张猫的图像，输出为“猫”这样的标签；输入一副棋局，输出下一步走棋方式；输入中文的“你好”，输出“Hi”这样的英文等。很难对输入与输出之间的模型转换过程给出一个合理的解释。在实际中，调用TensorFlow这样的深度学习框架，快速搭建起深度学习项目。感知机感知机，就是一个指在建立一个线性超平面对线性可分的数

今天使用cifar100.load_data()加载cifar100数据集时报错“Exception: URL fetch failure on https://www.cs.toronto.edu/~kriz/cifar-100-python.tar.gz: None ”刚开始我以为是网络不好，访问超时所以才报错，因为我昨天才用load_data()加载过数据，当时是可以加载的，但是没有等它下载完就关了，所以我换了一个网络试了下，还是不行，怎么回事？之后想到手动下载，再放在.keras/dataset

n-gram模型概述1、n-gram模型，也称为N元语法模型，是一种基于统计语言模型的算法2、n元语法模型的算法思想：将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度时N的字节片段序列，每个字节片段称为gram。对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。3、该模型基于马尔科夫假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现

使用D3绘制图形，主要分为以下几个步骤完成：1、引入Echarts；2、为ECharts准备一个具备大小的Dom；3、加载数据和整理数据；4、设定图表的配置项；5、使用指定的配置项和数据显示图表；6、添加和修改图表样式。...