自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 大数据数仓项目技术选型

技术选型主要考虑因素数据量大小,业务需求,行业内经验,技术成熟度,开发维护成本,总成本预算。数据采集传输:Flume:负责处理文件,读取文件Kafka:负责缓冲sqoop:从mysql直接导入数据数据存储:MySql:负责存储可视化的展示数据HDFS:主要存储的是大数据中的数据,例hiveHBase:存储元数据Redis:缓存数据计算:Hive:基于MapReduce计算,速度相对较慢Tez:完全基于内存,相对hive快了很多Spark:速度是hive的100倍。可以进

2020-07-27 19:57:51 636

原创 大数据专业 答题卡###

1.数据的预处理阶段实现效果【截图】实现代码【代码】Map代码Reduce代码Util代码驱动代码其他代码2.数据的入库操作阶段数据入库效果【截图】数据入库命令【命令】2.1create database video;create table video_ori(videoId string,uploader string,age string,category ...

2020-01-07 08:12:50 244

原创 离线计算系统(hive)###

1.1、Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。其本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive直接使用hadoop所面临的问题人员学习成本太高项目周...

2020-01-07 08:08:47 559

原创 HBEASAPI

开发javaAPI操作HBase表数据1、创建表myuser@Testpublic void createTable() throws IOException {//创建配置文件对象,并指定zookeeper的连接地址Configuration configuration = HBaseConfiguration.create();configuration.set(“hbase.zo...

2020-01-05 20:13:03 151

原创 所有文件都是只读状态,且无法修改权限时的解决方法

问题:在修改配置文件是文件都是只读状态,且用chmod命令也无法修改时。大概是核心文件核心文件出现了问题。比如说在设置自动挂载的情况下,删除了添加硬盘硬盘解决的方法 mount -o remount,rw /将所有的文件改成读写权限再将/etc/fstab添加的设置删除...

2019-10-24 22:20:08 5172

原创 配置文件详解

1./etc/udev/rules.d/70-persistent-net.rules 更改新增系统的mac地址2./etc/sysconfig/network-scipts/ifcfg-eth0网卡信息3./etc/selinux/config selinux的配置文件文件4./etc/sysconfig/network 可以更改主机名5./etc/hosts 给ip匿名6...

2019-10-23 21:37:09 229

原创 打解包和解压缩

解压缩命令1.打包命令1.1 当前文件内容[root@node02 tmp]# tree.├── esettxt├── a.txt├── export│ └── fdks└── yum.log1.2打包在当前tmp文件下,要将esettxt和export文件打包代码是 tar -cvf test01.tar esettxt export[ro...

2019-10-15 09:24:23 437

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除