大数据
文章平均质量分 88
杨大大-qwer
这个作者很懒,什么都没留下…
展开
-
深入优化大数据黑马ClickHouse
1. 查询优化JOIN操作时一定要把数据量小的表放在左表,ClickHouse中无论是Left Join 、Right Join还是Inner Join永远都是拿着左表中的每一条记录到右表中查找该记录是否存在,所以左表必须是小表示例:原始join查询语句,耗时7.171秒: 第一次优化左表数据,减少查询的列,不使用*:第二次优化左表数据:就是这样不断减少右表的数据,将查询时间缩短到213毫秒,2. 写入优化批量写入数据时,必须控制每个批次的数据中涉及到的分区的数量,在写入之前最好对需要原创 2020-06-28 16:18:47 · 1189 阅读 · 0 评论 -
实战大数据黑马ClickHouse
为什么要使用ClickHouse在项目立项之初,对于数据仓库这块的建设,其实有很多的技术选择,根据官方对比数据显示,100M数据集的跑分结果:ClickHouse比Vertia快约5倍,比Hive快279倍,比My SQL 快801倍。Vertia是商业软件,收费且不开源,小公司搞不起;Hive依赖于hadoop生态圈的,需要部署的组件太多了,成本太高,且甲方可能不太愿意提供那么多服务器,也不愿意虚拟化服务器,且虚拟化后的性能比较进一步衰弱;mysql就不用考虑了,大量数据的存储只能靠分库分表,复杂且麻烦原创 2020-06-28 15:03:45 · 1384 阅读 · 1 评论 -
浅入大数据黑马ClickHouse
什么是ClickHouseClickHouse是一款开源列式数据源,由俄罗斯Yandex公司开发并开源(Yandex类似于中国的百度),这款开源数据库跑分远远高于目前市面上很多的商业数据库,比如Vertica。如果你没有听说过Vertica,那么你一定知道惠普,目前Vertica是惠普旗下的一款商业产品,Facebook的用户行为分析就是基于Vertica实现什么是列式数据库行数据库存储及检索数据过程列数据库存储及检索数据过程主要用于在线分析处理查询(OLAP),相对行式数据库,像Mysql原创 2020-06-28 14:00:35 · 423 阅读 · 0 评论 -
新技能-大数据利器之图数据库neo4j:3. 初识cypher
cyhper是什么?cyhper是neo4j图数据库的执行语言,类似于mysql、Oracle这类关系型数据库都具备sql语言执行能力,而neo4j与cyhper的关系就像是mysql与sql的关系cyhper能做什么?Cypher语句可以查询节点、关系、标签和属性,支持关系查询、统计、汇总操作Cypher语句可以对节点、关系、标签和属性进行创建、更新和删除操作。Cypher语句可以管理索引和约束。cyhper主要命令(此处仅代表本人常用命令,其他命令请详阅官方文档)CREATE:创建节点原创 2020-06-18 17:16:32 · 396 阅读 · 0 评论 -
新技能-大数据利器之图数据库neo4j:2. 入门使用
界面介绍数据库资源使用区展示目前图数据库中存在从节点、关系、属性,以及数据库使用资源数据,例如:内存、磁盘、CPU及用户等数据命令输入区neo4j输入执行Cypher语言的地方入门导航区主要帮助入门的同学快速入门,包含文档、多种示例等服务状态展示服务信息及状态入门使用首先进入入门实例板块,点击界面上“Write Code” 按钮点击“Create a graph”,开始图数据库的学习之旅创建图数据库及制造数据,切换到第二页,点击红色区域内任意一个地方的文字内容点击完成原创 2020-06-15 18:13:30 · 213 阅读 · 0 评论