linux下R语言离线安装依赖包

linux下R语言离线安装依赖包 shell命令行执行 R CMD INSTALL package.tar.gz

2018-12-18 16:26:56

阅读数 383

评论数 0

查看出口ip

使用如下指令即可查看出口IP curl http://ipinfo.io

2018-01-12 15:06:08

阅读数 1848

评论数 0

flume的安装配置及使用

flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核...

2018-01-12 14:35:55

阅读数 275

评论数 0

一张图看懂Mapreduce的shuffle过程

shuffle过程 从map()的输出到reduce()的输入,中间的过程被称为shuffle过程。 map side 1.在写入磁盘之前,会先写入环形缓冲区(circular memory buffer),默认100M(mapreduce.task.io.sort.mb可修...

2018-01-12 11:58:35

阅读数 203

评论数 0

Yarn的基本流程(执行流程)

1.client向yarn提交job,首先找ResourceManager分配资源, 2.ResourceManager开启一个Container,在Container中运行一个Application manager 3.Application manager找一台nodemanager启动A...

2018-01-12 11:42:22

阅读数 3135

评论数 1

Mapreduce实现二次排序

SecondarySortMR 1.应用场景:MR默认会对键进行排序,然而有的时候我们也有对值进行排序的需求。满足这种需求一是可以在reduce阶段排序收集过来的values,但是,如果有数量巨大的values可能就会导致内存溢出等问题,这就是二次排序应用的场景——将对值的排序也安排到MR计算过...

2018-01-12 11:39:27

阅读数 161

评论数 0

sqoop的导入导出

一.SQOOP的导入 首先在MySQL中使用下面的命令创建测试用的数据库和表,同时为表插入数据 create database testdb; use testdb;   create table user( id int not null auto_increment, acc...

2018-01-12 11:34:05

阅读数 136

评论数 0

Sqoop安装及测试

1.${SQOOP_HOME}/conf/ $ cp sqoop-env-template.sh sqoop-env.sh     //拷贝模板生成配置环境目录 =============修改sqoop-env.sh 配置文件 #Set path to where bin/h...

2018-01-12 11:26:51

阅读数 457

评论数 0

HIVE基础知识及优化(面试必备)

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 Metastore (hive元数据) Hive将元数据存储在数据库中,比如mysql ,derby.Hive中的...

2018-01-11 20:14:39

阅读数 7696

评论数 1

Windows下Eclispe远程开发Mapreduce程序

将hadoop-eclipse-plugin-2.6.0.jar拷贝至${MyEclispe_HOME} /plugins 以管理员权限解压hadoop-2.5.0.tar.gz到F:/根目录 配置hadoop的环境变量 右击我的电脑——》属性——》高级系统设置——》...

2018-01-11 18:09:13

阅读数 118

评论数 0

Mongodb 查询指定时间范围的数据

今天用mongodb查昨天某个collection产生的记录数量,在mysql里面可以用between..and..或者 >、>=、mongodb有自己的语法。mongodb里比较,用 "$gt" 、"$gte"、 "$lt&quo...

2018-01-11 18:03:53

阅读数 3384

评论数 1

搭建HBase完全分布式(高可用)

HBase分布式搭建(我的配置如下) PC01 PC02 PC03 ZooKeeper ZooKeeper ZooKeeper NameNode NameNode DateNode DateNode DateNode JournalNode JournalNode JournalNod...

2018-01-11 17:37:56

阅读数 418

评论数 0

搭建Zookeeper集群

1.将ZooKeeper上传至第一台/opt/sofewares目录下 1.安装ZooKeeper $ tar -zxf  /opt/software/zookeeper-3.4.5.tar.gz -C  /opt/modules/ 1.在Zookeeper目录下新建一个...

2018-01-11 17:24:43

阅读数 106

评论数 0

一张图秒懂HBase(HBase架构图)

一张图看懂HBase

2018-01-11 17:16:19

阅读数 2896

评论数 0

json导入hive

hive中可以直接导入json格式的数据,mongodb数据或者json串 1.到点击打开链接下载json-serde-1.3.7-jar-with-dependencies.jar 2.这个jar包添加到hive安装路径的lib目录下 3.打开hive执行 add jar /jar包所在...

2018-01-11 14:45:06

阅读数 1939

评论数 0

shell通过端口号获取PID(进程号)

执行此命令可直接获得PID:netstat -anp|grep 12000|awk '{printf $7}'|cut -d/ -f1

2017-09-14 19:28:25

阅读数 4113

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭