- 博客(11)
- 收藏
- 关注
RSS订阅
原创 hadoop生态之hive
文章目录1. hadoop生态之hive定位2. 数据仓库 简介2.1 数据仓库的概念2.2 数据仓库听结构及其建立过程2.3 OLTP和OLAP的区别2.4 数据模型3. Hive简介4. Hive的体系结构1. hadoop生态之hive定位2. 数据仓库 简介2.1 数据仓库的概念面向主题的, 集成的, 不可更新的,随时间不变化的数据集合,主要用于查询,它用于支持企业或组织的决...
2019-06-29 11:14:34
397
原创 大数据hadoop生态之HBase
文章目录HBase简介HBase简介官方网站官方文档高可靠, 高性能, 面向列,可伸缩,实时读写的分布式数据库利用HDFS作为其文件存储系统, 支持MapReduce程序读取数据支持非结构化数据和半结构化数据, 当然也支持结构化数据用作业务数据常用关键字说明:RowKey: 数据唯一标识, 按字典排序Column Family: 列族, 多个列的集合, 最多不超过3个Ti...
2019-06-28 23:11:37
289
原创 大数据hadoop生态之Spark
文章目录1.Spark简介1.1 组件紧密集成2. 与hadoop的区别3.RDDs介绍1.Spark简介1.1 组件紧密集成spark core:包含spark的基本功能, 包含任务调度, 内存管理, 容错机制等.内部定义了RDDs(弹性分布式数据集)spark sql是spark处理结构化数据的库, 像hive sql, mysql一样应用场景, 企业中用来做报表统计...
2019-06-28 19:41:26
438
原创 大数据hadoop核心之 HDFS和MapReduce
文章目录一.Hadoop简介1.1 hadoop核心之HDFS(分布式文件系统)1.2 hadoop核心之MapReduce(分布式并行计算系统)一.Hadoop简介开源的大数据框架分布式计算解决方案HDFS+MapReduce1.1 hadoop核心之HDFS(分布式文件系统)概念Block 数据块: 存储单元: 默认大小:64M, 一般设置为128M, 备份x3Name...
2019-06-28 13:17:21
516
原创 docker mongo 持久化存储
文章目录1. 前置条件:2. 拉取mongo的docker镜像3. 预先配置4. 直接跑起mongo1. 前置条件:vmware centos 环境下docker 已经安装完成docker 服务已经启动2. 拉取mongo的docker镜像[root@laoliu home]# docker pull mongoUsing default tag: latestTrying t...
2019-06-25 16:45:08
3874
3
原创 docker Mysql:5.7的持久化存储及远程连接
文章目录1. 前置条件:2. 拉取mysql:5.7的docker镜像3. 预先配置4. 建立配置文件5. 运行命令6. 检查1. 前置条件:centos 环境下docker 已经安装完成docker 服务已经启动2. 拉取mysql:5.7的docker镜像[root@laoliu mysql]# docker pull mysql:5.7 # 使用这个命令拉取mysql镜像...
2019-06-22 23:58:08
6506
2
原创 python 判断字符串中的值
In [1]: strings = 'abc123XYZ@#$'In [2]: strings.isalpha() # 是否全部都是字母Out[2]: FalseIn [3]: strings[:6]Out[3]: 'abc123'In [4]: strings[:6].isalpha()Out[4]: FalseIn [5]: strings[:2]Out[5]: 'a...
2019-06-12 23:49:30
1285
原创 python 读写 文件操作
读取操作# 一次性读取整个文件内容with open('致橡树.txt', 'r', encoding='utf-8') as f: print(f.read())# 通过for-in循环逐行读取with open('致橡树.txt', mode='r') as f: for line in f: print(line, end='') ...
2019-06-12 23:23:58
815
原创 python set 操作
In [1]: set = {1,2,3,3,3,5}In [2]: setOut[2]: {1, 2, 3, 5}In [3]: len(set)Out[3]: 4In [4]: set.update([6,7])In [5]: setOut[5]: {1, 2, 3, 5, 6, 7}In [6]: set.add(8)In [7]: setOut[7]: {1...
2019-06-11 17:08:14
1463
原创 python list 多种操作
In [1]: fruits = ['grape', '@pple', 'strawberry', 'waxberry']In [2]: fruits.insert(0, 'orange')In [3]: fruitsOut[3]: ['orange', 'grape', '@pple', 'strawberry', 'waxberry']In [4]: del fruits[2]...
2019-06-11 16:35:49
220
原创 django项目技术点小结
文章目录1. 安装命令:2. 检查是否安装完成3. 创建项目:4. 创建两个应用:5. 添加应用6. 配置URL7. template7.1 模版冲突解决方案:7.2 模版过滤器8. models(ORM)9. 强大的后台,admin10 `settings.py`文件配置使用说明11. 分页功能12.个人总结的 项目开发流程1. 安装命令:pip install django == 2.2....
2019-06-11 11:26:20
1217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人