大数据
文章平均质量分 68
hitits
这个作者很懒,什么都没留下…
展开
-
DAMA数据管理各职能总结
文档和内容管理:通过计划、实施控制活动以存储、保护和读取电子及物理档案中的数据(包括文档、图形、图片、音频和视频)数据操作管理:在数据全生命周期内计划、控制和支持机构化数据资产,包括从数据创建、获取到数据归档和清除的过程。数据安全管理:通过计划、发展并执行数据安全政策和措施,为数据和信息提供适当的认证、授权、访问和审计。数据战略——愿景、使命、总线、案例、目标、目的、原则、组件、度量、实现路线图。1.定义、审批、沟通数据战略、政策、标准、架构、流程和度量体系。原创 2024-06-26 12:02:28 · 392 阅读 · 0 评论 -
2024大数据面试题汇总(完善中。。。)
自己汇总的面试题,涉及到大数据的常用组件,将持续更新... ...部分图片不全,后期继续完善更新记录:2024-6-18 初版0.1.0 :hadoop,hbase,doris,hive,mysql,es2024-6-26 1.0.0 : java,spark,redis,kafka,flink,kafka,数据仓库原创 2024-06-18 16:10:07 · 1220 阅读 · 0 评论 -
Hadoop生产调优
大数据hadoop生产调优经验原创 2022-12-06 09:22:41 · 533 阅读 · 0 评论 -
手把手搭建DORISDB
一、下载dorisdb下载地址dorisDB注:下载地址会从www.dorisdb.com 跳转到 www.starrocks.com 两者同一产品或者可选择本人安装使用的版本 dorisDB二、解压安装: tar -xvf DORIS-0.14.7-release-binary.tar.gz三、配置fe: cd /opt/soft/DORIS-0.14.7-release/fe/conf vim fe.conf(根据需要修改参数) cd /opt/soft/DORIS-0原创 2021-11-29 16:24:43 · 1310 阅读 · 0 评论 -
CDH安装教程
一、准备工作:1、绑定IP 192.168.197.129 ,192.168.197.130 ,192.168.197.1312、更改主机名 /etc/hosts192.168.197.129 hd01192.168.197.130 hd02192.168.197.131 hd033、配置免密登录:1、各台虚拟机执行:ssh-keygen -t rsa;2、cd .ssh cat id_rsa.pub>>authorized_keys ;3、scp a原创 2020-07-05 21:44:06 · 516 阅读 · 0 评论 -
centos7环境yum安装mysql
环境:CentOS-7.0-1406-x86_64-DVD.iso一、yum源安装要在线安装发现yum源没有mysql安装包,更换几次yum源,发现行不通2)需要到mysql的官网下载yum repo配置文件。下载命令:wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm3)然后进行repo的安装:rpm -ivh mysql57-community-release-el7-9.noarch.原创 2020-07-03 21:33:46 · 5500 阅读 · 0 评论 -
Hbase shell查询指令(更新中... ...)
常用hbase shell查询指令原创 2020-03-09 14:34:48 · 777 阅读 · 0 评论 -
HBASE 生存期 TTL
HBASE TTL生存期大家都知道hbase有个version版本号,所谓的version其实就是同一条数据插入不同的时间戳来实现的,在hbase底层的存储是基于时间戳排序的,所以每次我们查到的数据都是最新的版本,除非我们指定了要读取特定的时间范围的数据。即hbase都是根据时间戳进行数据版本的迭代,但是,hbase还有个TTL(Time To Live)数据生存期,从官网找到如下关于TTL描述...原创 2020-01-06 09:09:02 · 584 阅读 · 0 评论 -
通过crontab定时删除ES历史数据
elasticsearch定期删除N天前的数据:原创 2018-11-23 10:08:55 · 2386 阅读 · 0 评论 -
安装redis集群
安装3主6从redis集群1、下载redis2、解压redistar -xvf redis-3.2.11.tar.gz3、安装rediscd redis-3.2.11/make && make install4.在redis-3.2.11目录下创建9个文件夹mkdir 8000 8001 8002 8003 8004 8005 8006 8007 8008 ...原创 2019-07-03 19:16:27 · 194 阅读 · 0 评论 -
离线安装ruby、rubygems
离线安装ruby、ruby-gems原创 2019-07-03 18:50:23 · 2531 阅读 · 0 评论 -
hadoop2.0 副本冗余策略和hadoop3.0 纠删码技术
In coding theory, an erasure code is a forward error correction (FEC) code under the assumption of bit erasures (rather than bit errors), which transforms a message of k symbols into a longer message (code word) with n symbols such that the original messa原创 2019-07-15 07:18:45 · 2986 阅读 · 0 评论