GVTgh-CSDN博客

原创 linux-查端口占用并杀掉进程

[root@node-study azkaban-server]# netstat -nlp | grep :8443tcp 0 0 :::8443 LISTEN 31360/java[root@node-study azkaban-server]# kill -9 3136...

2019-02-04 16:31:38 378

原创 python-日期数据格式化

格式化符号%y 两位数的年份表示（00-99）%Y 四位数的年份表示（000-9999）%m 月份（01-12）%d 月内中的一天（0-31）%H 24小时制小时数（0-23）%I 12小时制小时数（01-12）%M 分钟数（00=59）%S 秒（00-59）%a 本地简化星期名称%A 本地完整星期名称%b 本地简化的月份名称%B 本地完整的月份名称%c 本地相应的日...

2019-01-30 12:40:17 750

原创大数据-hive

hivehive简介hive特点hive架构hive与RDBMS的区别hive的数据存储hive数据模型hive部署hive简介基于hadoop的数据仓库工具将结构化的数据文件映射为数据库表提供类SQL的查询功能hive特点可扩展hive可以自由扩展集群的规模，一般情况下不需要重启服务延展性hive支持用户自定义函数，用户可以根据自己的需要来实现自己的函数容错良好的容错...

2019-01-26 14:56:10 316

原创大数据-HA搭建

HA搭建HA架构HA的实现元数据的同步节点规划3节点7节点10节点搭建文档HA架构HA的实现NameNode各节点运行一个ZKFC，通过zookeeper集群进行管理两台NameNode分别是active、standby状态在HA机制下，standby会从qjournal中读取edits文件，更新到自己的内存元数据，承担了SecondaryNameNode的任务，定期完成元数据的合并，...

2019-01-25 20:49:44 260

原创大数据-YARN

YARN任务调度器任务调度器FIFO Scheduler先进先出Capacity Scheduler有两个队列，大任务放到queueA中，小任务放到queueB，会保留资源给小任务，占用了大任务的资源Fair Scheduler根据所有运行的任务，公平的动态分配资源，有延时...

2019-01-25 19:08:38 176

原创大数据-hadoopMapReduce的mrjob实现

MR实现WordCounttop-Ninline方式运行local方式运行提交到集群运行hadoop-streamingWordCountfrom mrjob.job import MRJobclass MRWordCounter(MRJob): def mapper(self, key, line): for word in line.split(): ...

2019-01-07 23:53:46 863

原创大数据-hadoop元数据管理

元数据管理元数据三种形式元数据存储机制元数据存储流程checkpoint配置参数数据恢复元数据三种形式内存元数据（meta data）磁盘元数据镜像文件（fsimage）数据操作日志文件（edits）元数据存储机制内存中有一份完整的元数据（meta data）磁盘中有一份“准完整”的元数据镜像文件（fsimage），存在namenode工作目录中meta data = fsi...

2019-01-06 20:59:38 1508

原创大数据-hadoop集群搭建

hadoop集群搭建集群规划3台服务器5台服务器版本选择原生安装服务器准备hadoop安装集群规划3台服务器服务器名称搭建服务node01DataNode、NodeManager、NameNode、SecondaryNameNode、ResourceManagernode02DataNode、NodeManagernode03DataNode、NodeM...

2019-01-04 18:03:50 252

原创大数据-hadoop

Hadoophadoop核心组件HDFS架构环境搭建配置文件shelllstextmvputrmpython API环境搭建API连接HDFSstatuslistmakedirsrenamedeleteuploaddownloadreadwrite常见错误hadoop核心组件HDFS将文件切分成指定大小的数据块, 并在多台机器上保存多个副本扩展性、容错性、海量数量存储YARN...

2019-01-02 20:49:42 265

原创算法-python容器复杂度

算法-python容器复杂度LISTDICTLISToperationBig-O Efficiencylist[index]list[index]list[index]O(1)O(1)O(1)list[index]=itemlist[index]=itemlist[index]=itemO(1)O(1)O(1)list.append(item)list.ap...

2018-12-14 18:05:05 172

原创 Django基础-工程的搭建

Django基础-工程的搭建搭建虚拟环境requirements.txt创建Django项目创建Django项目启动工程创建子应用创建子应用注册子应用搭建虚拟环境// 创建虚拟环境mkvirtualenv -p python3 py3_django_1_11// 查看虚拟环境workon// 切换虚拟环境workon py3_django_1_11// 安装相关软件pip ins...

2018-12-12 13:05:46 197

原创 Django-简述

Django简述python web框架web应用程序处理流程web框架的意义web应用程序的本质web框架学习方法Django简介特点MVCMVT相关文档python web框架web应用程序处理流程web框架的意义搭建web应用程序代码复用，只需关心核心业务实现web应用程序的本质接受并解析HTTP请求，获取请求信息处理请求，实现业务逻辑构造并返回处理结果web框...

2018-12-12 11:37:51 614

算法入门基本概念什么是算法算法的五大特性算法实例问题解法一（穷举）解法二（优化）时间复杂度时间复杂度计算步骤常见时间复杂度常见复杂度之间的关系时间复杂度计算（上文解法一）最坏时间复杂度新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注...

2018-12-11 18:58:37 409 2

Despair1992的博客