tail -f、tail -F三者区别

tail -f 等同于--follow=descriptor,根据文件描述符进行追踪,当文件改名或被删除,追踪停止 tail -F 等同于--follow=name --retry,根据文件名进行追踪,并保持重试,即该文件被删除或改名后,如果再次创建相同的文件名,会继续追踪 tailf等同于...

2019-03-09 14:46:09

阅读数 10

评论数 0

random的使用技巧

一般来说random是随机数必不可少的方法 例子: >>>import random >>>random.random() 0.0565513677268086...

2019-02-14 23:31:59

阅读数 20

评论数 0

hive的四种文件存储格式

hive分为四种存储格式:         1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.ORCFILE 在其中textfile为默认格式,如果在创建hive表不提及,会默认启动textfile格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;与此同时...

2019-01-22 14:57:17

阅读数 39

评论数 0

spark架构基础---RDD理解及宽依赖和窄依赖

1)RDD概念:Resilient Distributed Datasets  弹性分布式数据集,是一个容错的、并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并能控制数据的分区。同时,RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区的集合,只能通过在其他RDD执行确定...

2019-01-16 18:48:33

阅读数 44

评论数 0

spark算子讲解(20_Transformation + 12_Action)

                                               Spark的算子的分类 从大方向来说,Spark 算子大致可以分为以下两类:         1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。   ...

2019-01-16 18:13:58

阅读数 122

评论数 0

Hadoop搭建

http://hadoop.apache.org/docs/r1.0.4/cn/index.html     里面详细阐述几千节点大集群或几个节点小集群的搭建等重要架构的设计

2019-01-10 08:54:14

阅读数 56

评论数 3

关于index of网址所在

http://distfiles.macports.org/  

2019-01-10 08:51:38

阅读数 90

评论数 0

hadoop之datanode节点超时时间设置与HDFS冗余数据块的自动删除

一  Datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信, namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长...

2019-01-08 20:22:48

阅读数 44

评论数 0

关于自搭建hadoop出现slave服务器没出现DataNode节点的解决方法

首先先看正确hadoop下的master,slave服务器节点情况 异常情况:slave服务器未出现DataNode节点 问题描述: 一般是格式化hdfs出现的情况,例如hadoop namenode -format或 hdfs namenode -format 强制性多次初始化数据...

2019-01-08 20:03:57

阅读数 482

评论数 0

【Python小技巧】Python四种数据结构的解析及其调用

数据结构:存储大量数据的容器    此文主要介绍Python四种数据结构分为:列表,字典,元组,集合 格式如下: 列表:list = [val_1, val_2, val_3, val_4],用中括号表示; 字典:dict = {key_11:val_1,key_2:val_2}, 用大括号...

2018-12-29 19:10:50

阅读数 46

评论数 0

【python技巧篇】 在MR里面写 reload(sys)的原因

python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报错 UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(1...

2018-12-28 21:16:17

阅读数 19

评论数 0

sudo apt-get 和dpkg命令大全

一、APT的使用(Ubuntu Linux软件包管理工具一) apt-cache search # ------(package 搜索包) apt-cache show #------(package 获取包的相关信息,如说明、大小、版本等) sudo apt-get ins...

2016-08-04 15:38:52

阅读数 125

评论数 0

ctag使用的方法

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富...

2016-08-04 14:27:29

阅读数 249

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭