- 博客(16)
- 收藏
- 关注
RSS订阅原创 数仓相关知识
什么是埋点？数据埋点分为初级、中级、高级三种方式，分别为：初级：在产品、服务转化关键点植入统计代码，据其独立ID确保数据采集不重复（如购买按钮点击率）；中级：植入多段代码，追踪用户在平台每个界面上的系列行为，事件之间相互独立（如打开商品详情页——选择商品型号——加入购物车——下订单——购买完成）；高级：联合公司工程、ETL采集分析用户全量行为，建立用户画像，还原用户行为模型，作为产品分析、优化的基础。数据埋点是一种良好的私有化部署数据采集方式。数据采集准确，满足了企业去粗取精，实现产品、
2020-10-20 22:47:12
110
原创 疯子learning日常
2020/5/17擦，zookeeper怎么都打不开，逼疯，花了三小时发现是防火墙忘关了，昨天也发生这样的事，浏览器打不开hdfscentos6关闭防火墙的两种方式：1.service iptables off ：本次启动关闭2.chkconfig iptables off:永久关闭...
2020-05-17 19:18:16
104
原创 Hive 数据类型
基本数据类型Hive 的原子数据类型是可以进行隐式转换的，类似于 Java 的类型转换1． 隐式类型转换规则如下（1）任何整数类型都可以隐式地转换为一个范围更广的类型，如 TINYINT 可以转换成 INT， INT 可以转换成 BIGINT。（2）所有整数类型、 FLOAT 和 STRING 类型都可以隐式地转换成 DOUBLE。（3） TINYINT、 SMALLINT、 INT 都可以转换为 FLOAT。（4） BOOLEAN 类型不可以转换为任何其它的类型。2． 可以使用 CA..
2020-05-13 22:12:14
327
原创 Hive安装部署
1.Hive安装配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面（3）修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive（4）修改/opt/module/hive/conf 目录下的 hive-env.sh.template 名称为 hive-env.sh（5）配置 hive-env
2020-05-13 21:26:51
203
原创 Hive的一些基础概念
1.hive是什么：hive是Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，和提供和sql语法相似的查询功能；hive的本质是将HQL转化为MapReduce程序。 1） Hive 处理的数据存储在 HDFS2） Hive 分析数据底层的默认实现是 MapReduce3） 执行程序运行在 Yarn 上2.hive和数据库的比较（1）查询语言由于SQL被广泛的应用在数据仓库中，因此，专门针对...
2020-05-13 21:16:54
196
原创 Linux学习笔记-进程管理
相关概念1) 在LINUX中，每个执行的程序（代码）都称为一个进程，每一个进程都分配一个ID号。2) 每一个进程，都会对应一个父进程，而这个父进程可以复制多个子进程。例如www服务器3) 每个进程都可能以两种方式存在的。前台 与后台，所谓前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作，但由于屏幕上无法看到的进程，通常使用后台方式执行[sshd , crond]。4)...
2020-03-28 15:35:32
96
原创 Linux学习笔记-设置静态IP
1.vim /etc/sysconfig/network-scripts/ifcfg-eth02.service network restart3.reboot修改主机名
2020-03-28 15:15:31
56
原创 Linux学习笔记-组管理和权限管理
一般为文件的创建者,谁创建了该文件，就自然的成为该文件的所有者。chown 用户名 文件名 修改文件所有者chgrp 组名 文件名修改文件所在组r:read，可读w:write，可写x:execute,可执行...
2020-03-28 14:57:53
53
原创 Linux学习笔记-，常用指令
man [命令或配置文件]（功能描述：获得帮助信息）help 命令 （功能描述：获得shell内置命令的帮助信息）pwd(功能描述：显示当前工作目录的绝对路径)ls [选项] [目录或是文件]-a ：显示当前目录所有的文件和目录，包括隐藏的 (文件名以.开头就是隐藏)。-l：以列表的方式显示信息-h: 显示文件大...
2020-03-28 14:42:08
72
原创 Linux学习笔记-找回root密码
启动时->快速输入enter->输入e-> 进入到编辑界面-> 选择中间有kernel 项->输入e(edit)-> 在该行的最后写入 1 [表示修改内核，临时生效]-> 输入enter->输入b [boot]-> 进入到单用模式 【这里就可以做补救工作】...
2020-03-28 14:06:46
91
原创 Linux学习笔记-vi/vim快捷键
1) 拷贝当前行 yy , 拷贝当前行向下的5行 5yy，并粘贴 p。【快捷键在正常模式下使用】2) 删除当前行 dd , 删除当前行向下的5行 5dd3) 在文件中查找某个单词 [命令模式下（esc/:） /关键字 ， 回车 查找 , 输入 n 就是查找下一个 ]4) 设置文件的行号，取消文件的行号.[命令行下 : set nu 和 :set nonu]5) 编辑...
2020-03-28 13:45:48
97
原创 Linux学习笔记-网络配置
1.Centos6网络配置的三种方式1.桥接模式：在桥接模式下，VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机（主机和虚拟机处于对等地位），它可以访问网内任何一台机器。我们往往需要为虚拟主机配置ＩＰ地址、子网掩码等（注意虚拟主机的ｉｐ地址要和主机ｉｐ地址在同一网段）。这样，虚拟机就可以和主机之间独立的通信（当然，只要在同一个局域网中都可和虚拟机通信），同时，配置好网关和DNS的地...
2020-03-28 13:13:03
156
原创 ACID
数据库的ACID性质：原子性（ATOMIC） 整个事务中的所有操作，要么全部完成，要么全部不完成，不可能停滞在中间某个环节 一致性（Consistency）在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏 隔离性（Isolation）两个事务的执行是互不干扰的，一个事务不可能看到其他事务运行时中间某一时刻的数据 持久性（Durability）在事务完成以后，该事务所对数据库所作...
2019-12-22 15:59:47
154
原创 死锁
产生死锁的原因主要是：（1） 因为系统资源不足。（2） 进程运行推进的顺序不合适。（3） 资源分配不当等。如果系统资源充足，进程的资源请求都能够得到满足，死锁出现的可能性就很低，否则就会因争夺有限的资源而陷入死锁。其次，进程运行推进顺序与速度不同，也可能产生死锁。产生死锁的四个必要条件：（1）互斥条件：一个资源每次只能被一个进程使用。（2）请求与保持条件：一个进程因请求资源而阻...
2019-12-22 15:48:28
65
原创 刷题1221
有几种I/O控制方式？各有何特点？答：I/O控制方式有四种：程序直接控制方式、中断控制方式、DMA方式和通道控制方式。（1） 程序直接控制方式：优点是控制简单，不需要多少硬件支持。但CPU和外设只能串行工作，且CPU的大部分时间处于循环测试状态，使CPU的利用率大大降低，因此该方式只适用于那些CPU执行速度较慢且外设较少的系统。（2） 中断处理方式：优点是能实现CPU与外设间的并行操作...
2019-12-21 22:34:44
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人