功夫熊猫

互联网|大数据|物联网|机器学习

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿里云ECS搭建Jupyter Notebook(下)

4. 生成密码密文root@iZuf6e9bjg74ll9e9hcyagZ:~/anaconda# ipython Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:28:17) Type 'copyright', 'credits'...

2018-06-09 10:30:24

阅读数 340

评论数 1

阿里云ECS搭建Jupyter Notebook(上)

      前面把阿里云ECS的Python版本升级到Python3,下面接着就开始安装Jupyter Notebook,由于Anaconda集成了Jupyter,所以先安装Anaconda后再配置Jupyter1. 下载Anaconda安装包(Anaconda集成Jupyter)root@iZu...

2018-06-09 10:11:44

阅读数 542

评论数 1

阿里云ECS升级python到python3

     去年双十一阿里云活动,廉价买了台ECS一直闲着没用,实在是资源浪费。突然想装个Jupyter Notebook,方便对机器的使用,希望能调动积极性。一看python的版本信息,居然是2.7.12的,所以第一步先把Python升级到Python3再说。1.  查看Python版本root@...

2018-06-09 09:28:06

阅读数 1565

评论数 0

Apache Nifi

2.4.4 Controller Service分类介绍AvroReaderAvroReader解析Avro数据并且将每个Avro记录解析为一个独立的记录对象返回。解析Avro的schema可以来自于数据本身,也可以通过“Schema Access Strategy”属性配置的策略去Schema注...

2018-05-27 08:20:11

阅读数 497

评论数 0

Apache Nifi

2.4.3 为数据流添加Controller Service为一个数据流添加Controller Service,你可以右击处理组然后选择Configure,如也可以通过控制台的操作面板选择Configure,如当从控制面板进入Controller Service添加配置页面,需要对于Contro...

2018-05-27 08:19:09

阅读数 134

评论数 0

Apache Nifi

2.4.2 配置Controller Service点击“”编辑按钮,弹出Controller Service的配置页面,如配置页面有3个Tab页:Settings,Properties和Comments。配置页面同样也类似于处理器单元的属性配置页面。在Settings的Tab页中可以根据需要给C...

2018-05-27 08:16:37

阅读数 109

评论数 0

Apache Nifi

2.4 NiFi Controller Service应用介绍Controller service是一个能被各个processor,reporting task以及其它service用于配置和任务执行的共享服务。举个具体的应用场景,当NiFi中创建了大量的数据流,且这些数据流都有从同一源数据库获取...

2018-05-27 08:13:45

阅读数 1855

评论数 0

Apache Nifi

2.3.9 HTTP协议类处理器单元GetHTTP GetHTTP处理器单元对配置的http或者https协议的URL发起请求并将返回结果输出到新的FlowFile中。而且GetHTTP会记录Etag和最新数据修改时间避免不停的访问给服务端产生不必要的开销。如下图ListenHTTP Listen...

2018-05-06 09:34:24

阅读数 153

评论数 1

Apache Nifi

2.3.8切分和聚合类处理器单元SplitTextSplitText处理器单元可以将一个文本内容的FlowFile切分成你想要数量的FlowFile。上面的图中表示Processor将输入的FlowFile的内容切分成多个FlowFile,每个FlowFile的内容都来自于FlowFile中的一行...

2018-05-06 09:32:41

阅读数 312

评论数 0

Apache Nifi

2.3.7数据发送类处理器单元PutEmailPutEmail处理器单元主要功能是将FlowFile的内容以邮件的形式发送给配置的用户邮箱,也可以通过配置选择将FlowFile的内容以附件的方式发送出去。PutFilePutFile处理器主要功能是将FlowFile的内容以文件的形式写入本地磁盘。...

2018-05-06 09:28:01

阅读数 209

评论数 0

Apache Nifi

2.3.6 数据提取类处理器单元GetFileGetFile处理器单元从本地磁盘获取文件的内容到NiFi,并删除原有的磁盘文件。这个处理器应用场景是将一个文件从一个地方搬移到另外一个地方而不是对文件的拷贝。上面的图中表示Processor将/user/sample.txt文件的内容输出到FlowF...

2018-05-06 09:25:45

阅读数 300

评论数 0

Apache Nifi

2.3.5 系统交互类处理器单元ExecuteProcessExecuteProcess处理器单元能够运行用户定义的操作系统命令,将处理完的标准输出内容写入flowfile中。该处理器是一个不需要输入的源处理器,它会输出产生一个新的FlowFile。如果需要提供输入源请使用下面介绍的execute...

2018-04-22 11:44:49

阅读数 158

评论数 0

Apache Nifi

2.3.4 属性提取类处理器单元EvaluateJsonPathEvaluateJsonPath处理器单元根据用户定义的JSONpath表达式对FlowFile的JSON内容进行解析,将这些表达式所解析出来的内容替换FlowFile的内容或者将其更新到FlowFile的属性中,以便于后续的单元处理...

2018-04-22 11:43:02

阅读数 267

评论数 0

Apache Nifi

2.3.3 数据接入类处理器单元ConvertJSONToSQLConvertJSONToSQL处理器单元可以将结构化的Json转换成INSERT或者UPDATE这样命令的SQL,配合PutSQL处理器单元可以直接根据这鞋命令将数据插入数据库中。上面的图中表示Processor根据输入的FlowF...

2018-04-22 11:40:37

阅读数 492

评论数 0

Apache Nifi

2.3.2 数据路由类和调制处理器单元ControlRateControlRate处理器单元用来控制数据流部分流量的速率。上面的图中的例子表示1分钟内只允许最多1000个FlowFile流过。DetectDuplicateDetectDuplicate处理器单元用来依据用户定义的特征来监控和发现重...

2018-04-22 08:53:54

阅读数 227

评论数 0

Apache Nifi

2.3 NiFi Processor应用介绍对于NiFi的使用者来说,如果想要创建一个高效的数据流,那么就需要了解什么样的单元处理器才最适合这个数据流。NiFi拥有大量的可以用于各种业务场景的单元处理器可供使用者挑选和使用,这些单元处理器主要提供例如系统之间数据的传输,数据的路由,数据的转换、处理...

2018-04-22 08:50:56

阅读数 168

评论数 0

Apache Nifi

2.2.4 NiFi创建数据流在创建NiFi数据流之前,先回顾下上一章节提到的两个重要术语:FlowFile和处理器单元,这两个是数据流的重要概念,对于我们理解并创建数据流有很大的帮助。FlowFile:数据流中的任何的用户数据都以FlowFile的形式存在。FlowFile包括两部分:正文和属性...

2018-04-21 18:12:26

阅读数 424

评论数 0

Apache Nifi

2.2.3 NiFi控制台介绍按照以上步骤完成NiFi的启动后,现在可以尝试通过NiFi的UI来创建并监控一个数据流。NiFi默认启动后的访问端口是8080,我们可以直接在浏览器输入http://localhost:8080/nifi来登陆NiFi的控制台,NiFi的默认启动端口可以通过配置文件对...

2018-04-21 18:07:58

阅读数 182

评论数 0

Apache Nifi

2.2 Apache NiFi快速入门2.2.1 NiFi版本包下载NiFi官方最新版本下载地址:https://nifi.apache.org/download.htmlNiFi官方历史版本下载地址:https://archive.apache.org/dist/nifi/NiFi官方Docke...

2018-04-21 18:06:34

阅读数 408

评论数 0

Apache Nifi

第2章 NiFi基础应用篇2.1 Apache NiFi术语介绍DataFlow ManagerNiFi是一个强大数据流管理平台,为用户提供数据流的创建、修改以及删除操作。FlowFile在NiFi中FlowFile代表数据流中的数据以及这个数据的相关属性。FlowFile由两部分组成:FlowF...

2018-04-21 18:02:20

阅读数 522

评论数 0

提示
确定要删除当前文章?
取消 删除