- 博客(6)
- 收藏
- 关注
RSS订阅原创 redis的安装与配置
安装redis 1.上传redis安装包到一个目录下。没有的话，从 redisRedis官网找到安装包的下载地址 2.解压 [hadoop@hadoop1 soft]$ tar -zxvf redis-4.0.10.tar.gz 3.编译安装 [hadoop@hadoop1 soft]$ cd /opt/soft/redis-4.0.10 [hadoop@hadoop1 redis-4.0.10]$ make [hadoop@hadoop1 redis-4.0.10]$ make PRE..
2021-11-08 09:15:22
508
原创 zookeeper和Kafka的关系
1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids 每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的是临时节点，所有一旦Broker上线或者下线，对应Broker节点也就被删除了，因此我们可以通过zookeeper上Broker节点的变化来动态表征.
2021-10-30 19:18:32
317
原创 hive中的内部表和外部表
未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）。 区别 1. 内部表数据由Hive自身管理，外部表数据由HDFS管理； 2.内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS的/user/hive/warehouse文件夹下以外...
2021-10-23 19:15:54
2950
原创 Hive基本操作
hive简单认识 Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。 Hive的数据分为两部分，一部分是存在HDFS上的具体数据，一部分是描述这些具体数据的元数据信息，一般Hive的元数据存在MySQL上。 Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。 Hive分内部表和外部表，外部表在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；
2021-10-15 19:44:59
148
原创 python 基础
标题 python 基础 1. 注释 单行注释 #这是一个单行注释 print(“hello python”) # 输出 hello python 多行注释 可以选中要注释的行 同时按下 Ctrl+/ 可以实现多行注释与取消注释 也可以用三对引号来注释 如下： “”" 这是一个多行注释 在多行注释之间，可以写很多很多的内容 …… “”" 2. 算术运算符 算术运算符不在此多说，只要记住一点：除法的返回结果永远都是浮点数float 3. Python执行程序的执行原理 操作系统
2021-09-27 20:03:38
52
原创 Linux常用命令及用法
1、ls命令 就是 list 的缩写，通过 ls 命令不仅可以查看 linux 文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。 常用参数搭配： ls -a 列出目录所有文件，包含以.开始的隐藏文件 ls -A 列出除.及..的其它文件 ls -r 反序排列 ls -t 以文件修改时间排序 ls -S 以文件大小排序 ls -h 以易读大小显示 ls -l 除了文件名之外，还将文件的权限、所有者、文件大小等信息详细列出来 实例： (1) 按易读方式按时间反
2021-09-17 11:06:16
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人