会飞的牛奶-CSDN博客

原创 mysql-binlog同步配置

1.mysql表结构备份 mysqldump -u root --databases dolphinscheduler > ds.bak; ——导出 mysql -h ip -u ds_online -p < /home/hadoop/ds.bak;——导入2.mysql操作命令 systemctl start mysqld.service 启动 systemctl stop mysqld.service 停止 service mysqld status 服务状态...

2020-09-12 15:08:07 586

原创 kudu

Kudu的数据类型:BOOL, INT8, INT16, INT32, BIGINT, INT64, FLOAT, DOUBLE, STRING, BINARY, TIMESTAMP.但 DECIMAL,CHAR,VARCHAR,DATE 和 ARRAY 等复杂类型不受支持.Impala 的数据类型:BIGINT,BOOLEAN,CHAR,DECIMAL,DOUBLE,...

2019-10-04 15:16:19 5232

原创 cassandra

cassandra数据源keyspace有两种策略：SimpleStrategy，NetworkTopologyStrategy。cassandra 数据源ttl既有建表时设置ttl，也支持插入数据时设置ttl，进行过期数据；INSERT INTO table_name ... USING TTL 100;写入的记录将在100s后过期。创建表时设定表级别生存时长：CREATE ...

2019-10-04 15:05:48 538

原创 mongodb

mongodb数据文档特性1）不建立索引查询太慢；2）索引太多影响写入及更新操作；3）当表数据量上亿查询以及写入速度性能较差；4）mongodb换节点时候会有短暂的不可写设计限制，当出现任何时间写入不能停的场景，mongodb可能不太合适；5）mongodb的读写2000-3000/s；6）mongodb适合需要大量的地理位置查询；7）mongodb不适合数据对象过多。...

2019-10-04 14:58:24 763

原创推荐系统小结

随着互联网大数据的进程，推荐系统已经在我们生活中应用的非常广泛，可以应用在电商/视频/音乐/文章新闻/广告/邮件等生活各方面，，，推荐系统要考虑几个层面，1.用户界面系统 2.用户行为日志分析系统 3.推荐算法系统；推荐系统目前最基本的算法基于用户以及基于物品的协同过滤算法，所以更多的研究对象是用户和物品的属性以及两者对应的关系，但是同时不能忽视上下文（时间，地点，用户兴趣）等要点。...

2019-05-01 15:47:58 203

原创大数据任务调度框架oozie项目分享

闲聊一句，我记得当初启动任务调度框架oozie项目的时候，csdn上还没有几篇关于oozie的文档，查阅资料还只能去官网，，作业调度系统的技术选型考虑到基于java语言的Azkaban/oozie以及基于python的airflow，三者其实都可以进行很好的二次开发，基于产品开发面向用户，考虑到oozie能够更好的融入hadoop生态圈以及基于java语言开发，学习研发成本较低，最终选择了o...

2019-05-01 15:23:35 659 1

原创大数据中常用的linux知识

1.mkdir和rmdir命令mkdir用于创建文件夹,创建文件夹时应确保与它所在的目录下的没有同名文件夹。mkdir A一次创建多个文件夹：mkdir B C D加上-p参数可以创建带有子目录的文件夹：mkdir -p dira/dirb/dirc删除目录：rmdir abc递归删除带有子目录的文件夹:rmdir -p dira/dirb/dirc2.cp命令cp命令是Linux的拷贝文件命令....

2018-07-03 20:34:24 859

转载大数据常用基本命令——压缩和解压类

1.gzip/gunzip 压缩基本语法：gzip 文件（功能描述：压缩文件，只能将文件压缩为*.gz 文件）gunzip 文件.gz （功能描述：解压缩文件命令）经验技巧：（1）只能压缩文件不能压缩目录（2）不保留原来的文件操作实例：gzip压缩：gzip ceshi.txtgunzip解压缩文件：gunzip ceshi.txt.gz2.zip/u

2018-04-30 15:40:11 565

转载 MySql与Oracle的几个主要区别

一、并发性并发性是oltp数据库最重要的特性，但并发涉及到资源的获取、共享与锁定。 mysql:mysql以表级锁为主，对资源锁定的粒度很大，如果一个session对一个表加锁时间过长，会让其他session无法更新此表中的数据。虽然InnoDB引擎的表可以用行级锁，但这个行级锁的机制依赖于表的索引，如果表没有索引，或者sql语句没有使用索引，那么仍然使用表级锁。 oracle:oracle使用...

2018-04-30 11:11:04 232

llp223的博客