Aidon博客

工作中用到的技术 、 工作学习到的技术 、 了解的It前沿信息 、 最新IT 技术。。。...

linux expect 案例

1、linux expect命令,它类似于shell、window中的cmd。本身就是命令 2、如果没有需要安装 yum info expect yum -y install expect 如果不行使用源码安装吧 3、man expect 案例1: [root@hadoop01 ~]# expec...

2018-09-11 01:15:16

阅读数 134

评论数 0

史上最详细git教程

史上最详细git教程 阅读目录 Git是什么 SVN与Git的最主要的区别 在windows上如何安装Git 如何操作   创建版本库      把文件添加到版本库中 版本回退  理解工作区与暂存区的区别 Git撤销修改和删除文件操作 撤销修改 删除文件  远程仓库 ...

2018-07-24 01:17:02

阅读数 4166

评论数 2

scala中方法和函数的区别

在Scala中函数和方法有什么区别如下:1、有参方法可以作为表达式的一部分出现,无参方法可以作为最终表达式出现;但函数可以作为最终表达式出现方法可以作为一个表达式的一部分出现(调用函数并传参),但带参方法不能作为最终的表达式出现,无参方法可以作为最终表达式出现,其实这属于方法调用,scala规定无...

2018-06-28 23:03:51

阅读数 758

评论数 3

hadoop job 日志的查看

一般有几个地方可以查看:1、通过本地日志目录查看对应container日志文件,默认在hadoop的安装目录下的/logs/userlogs/:直接用查看文件命令查看即可该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地,然后再给聚合到文件系统中(配置聚合日志功能)。2、浏览器...

2018-04-11 16:19:22

阅读数 8698

评论数 0

hadoop的日志详解

本文部分资料转自 Hadoop日志存放路径详解 本文部分资料转自 Hadoop历史服务器详解 本文部分资料转自 董的博客:Hadoop 2.0中作业日志收集原理以及配置方法一 Hadoop 日志存放路径详解1 Hadoop系统服务输出的日志2 配置 Hadoop 系统服务日志二 历史服务器 Job...

2018-04-11 14:49:52

阅读数 3586

评论数 0

log4j.properties配置详解与实例

转自:http://blog.sina.com.cn/s/blog_5ed94d710101go3u.html        最近使用log4j写log时候发现网上的写的都是千篇一律,写的好的嘛不全,写的全一点的嘛没有一点格式,看着累。这里把网上收集到的整理了一下,并且全部都在机器上测试成功...

2018-02-03 17:41:10

阅读数 139

评论数 0

oozie的简单案例

1、fs的action: ================job.properties的内容如下: nameNode=hdfs://hadoop007:9000 jobTracker=hadoop007:8032 queueName=default examplesRoot=fs ...

2018-01-22 00:07:15

阅读数 1218

评论数 0

oozie 概要

oozie相关概念介绍:   Oozie is a workflow scheduler system to manage Apache Hadoop jobs. Oozie Workflow jobs are Directed Acyclical Graph...

2018-01-22 00:00:21

阅读数 630

评论数 0

oozie 4.3.0 编译安装

Oozie的编译: 系统需求: Unix box (tested on Mac OS X and Linux) Java JDK 1.7+ Maven 3.0.1+ Hadoop 0.20.2+ Pig 0.7+   JDK commands (java, javac) must ...

2018-01-21 23:24:10

阅读数 1360

评论数 2

cms cdh 5.3.x 升级成HA的配置

cms cdh 升级成HA的配置 CDH的HA的安装和配置 CDH 5.3.x的HA的搭建

2017-12-27 16:04:37

阅读数 268

评论数 0

centos 6.5 cms 5.3.6 cdh 5.3.6 安装

centos cms cdh 离线安装centos cms cdh 离线安装centos cms cdh 离线安装

2017-12-20 23:49:31

阅读数 1622

评论数 2

Hadoop平台关闭THP解决服务器高负载问题

Hadoop平台关闭THP解决服务器高负载问题,Ambari和CM管理平台都提示,建议关闭THP.

2017-11-25 10:39:29

阅读数 194

评论数 0

大数据面试一些问题

大数据面试题

2017-09-04 14:15:09

阅读数 566

评论数 0

hadoop hdfs存储原理

hadoop的hdfs存储原理,hdfs的存储原理,hdfs的底层存储原理

2017-08-25 10:19:43

阅读数 805

评论数 0

python scrapy 的概念、安装、使用和案例

python scrapy 的概念、安装、使用和案例 scrapy 安装

2017-08-19 10:48:49

阅读数 651

评论数 0

python 多进程爬虫案例

python 多进程爬虫案例

2017-08-18 00:36:52

阅读数 976

评论数 0

python的多线程和多进程网络编程

python的多线程和多进程网络编程

2017-08-18 00:35:33

阅读数 328

评论数 0

python 操作mongodb

python 操作mongodb

2017-08-18 00:32:25

阅读数 417

评论数 0

mongodb的安装和使用

mongodb的安装和使用

2017-08-18 00:26:27

阅读数 213

评论数 0

python 将爬虫内容保存到mysql中

python 将爬虫内容保存到mysql中

2017-08-18 00:24:48

阅读数 631

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭