沉淀

突然萌生买树莓派的想法，做点好玩的事情烧了原生系统，安装了dashboard，可以看系统监控数据担心2G不够用，但4G要420左右，咸鱼上看了 有加内存服务，直接跟店家买了一个他升级好的，才300块。可惜给我寄过来的电源是 5V2A的，不过用了几天感觉不错今天用胶水把屏幕后面的驱动电路板固定下来，后面可以放客厅 当作智能家居的中央系统展示...

在Mac电脑上安装使用kafka使用kafka需要先安装zookeeper作为注册中心，在Mac上可以先安装homebrew然后再使用homebrew作为工具安装kafka和zookeeperbrew install kafkabrew install zookeeper进入 /usr/local/Cellar下分别启动kafka和zookeeper启动命令为zookeeper命令为zookeeper-server-start startkafka的各种命令为Kafk

环境准备：1. maven 安装、修改阿里源获取源码git clonehttps://github.com/apache/flinkgit tagsgit checkoutrelease-1.11.2 #最新的tag开始编译cd flink# CDH6.3 使用的 hadoop 版本是 3.0.0mvn clean package -DskipTests -Dhadoop.version=3.0.0遇到错误：[INFO] BUILD F...

设置Maven项目 编写Flink程序 练习：在群集上运行并写入Kafka在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分钟内实现，但它将为您提供一个良好的基础，从而开始自己...

应用场景Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心...

Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。这篇文章先介绍 Batch例子Word CountWordCounts 是大数据系统处理中的入门案例。它从一个文本集合中计算单词出现的频率。这个算法分成两个步骤：第一步：文本 split 切分成独立的单词第二部：分组和统计Sc...

本地化部署教程步骤: 下载和启动 Flink 本地模式 阅读代码 运行例程通过一些简单的步骤运行一个Flink的例子Setup: Download and Start FlinkFlink runs on Linux, Mac...

一个老的mysql库，root 密码忘记了，是一件悲伤的事情。mysql 5.6 版本centOS 5.7 重置密码如下：MySQL root密码的恢复方法之一如果忘记了MySQL root密码，可以用以下方法重新设置：1.KILL掉系统里的MySQL进程；    killall -TERM MySQLd 2.用以下命令启动MySQL，以不检查权限的方式启动； ...

绘制坐标有时候我们绘制坐标的时候，需要改变坐标轴的定义，我们以日期为横坐标绘制时间序列为例讲解先列举简单的例子：rnorm(n, mean = 0, sd = 1)n 为产生随机值个数（长度），mean 是平均数， sd 是标准差 。> rnorm(10,1,sd = 2) [1] 1.98984356 -1.93403191

以鸢尾花的特征作为数据来源，数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集三类分别为:setosa, versicolor, virginica数据包含4个独立的属性,这些属性变量测量植物的花朵,比如萼片长度, 萼片宽度,花瓣长度, 花瓣宽度.Sepal lengthSepa

在使用pandas框架的DataFrame的过程中，如果需要处理一些字符串的特性，例如判断某列是否包含一些关键字，某列的字符长度是否小于3等等这种需求，如果掌握str列内置的方法，处理起来会方便很多。        下面我们来详细了解一下，Series类的str自带的方法有哪些。1、cat() 拼接字符串        例子：        >>> Series([

https://keras.io/visualization/系统： ubuntu16.04前置条件：sudo apt-get install graphviz依赖 pydot-ng ，若出现错误，用命令行输入pip install pydot-ng keras.utils.vis_utils模块提供了画出Keras模型的函数（利用graphvi

db.getCollection('private_enterprise').find({})查询结果如下，现在需要把  "证券代码" =》 “code”  ； "发行人中文名称" =》 "COMP_NAME"{    "_id" : ObjectId("594792ce10bba506b0e1cd26"),    "证券代码" : "011697006.IB",    "

R语言在windows 平台写入 MySQL 可以使用下面的库：library(RMySQL)con dbSendQuery(con,'SET NAMES gbk')  ==> 用于处理中文乱码问题，详情见下文常用的命令：dbListTables(con)dbRemoveTable(con,"testtable")fruits dbWrite

set转成list方法如下：                                                     list转成set方法如下：s = set('12342212')                                                      l = ['12342212']print s    # set(['1', '3'

MongoDB 要求每个文档都必须有 _id 如果待插入的文档没有 _id, MongoDB 会自动生成一个,但不会把结果返回个 PyMongo对于需要写操作频繁的应用来说, 在写入之前复制一份插入 _id 代价可能会很高如果你不想自动生成的 _id, 就需要自己在插入数据前 自己准备好 _id 字段Why does PyMongo add an _id field to all of

json.dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, encoding="utf-8", default=None, sort_keys=False, **kw)Serialize obj

环境： python 3.5windows 安装了 https://www.continuum.io/downloads【提示：用迅雷下载非常快】程序写完用  py2exe 打包：首先安装： pip install py2exe执行： python setup.yp py2exe 报错：Missing run-py3.5-win-amd64.ex

注意，虽然在本文中会涉及调度策略等内容，但实际执行效果取决于具体策略实现。project脚本分为不同的 project，不同的 project 之间的任务互相独立，建议为不同的站点建立不同的 projectproject 属性group – 分组标识，暂时仅用于区分name – 脚本的名字，只允许 a-zA-Z0-9_status

在.login中执行相应命令，或在.bashrc（用tcsh shell，在.tcshrc）里写命令。是不行的，.login是在用户登录时执行，用户可能在本地无需登录，或者在远程多个用户登录，多次登录；而.tcshrc是在shell启动时执行，登录后用户一般会多次打开shell，这样该命令或程序就会被多次执行。Linux 启动顺序：1、 BIOS自检2、 运行系统内核并检测硬件3、