yiluohan0307的专栏

3.1 监控 Mysql 数据并在控制台打印1）实现步骤：（1）运行 maxwell 来监控 mysql 数据更新[root@hdp101 maxwell]# bin/maxwell --user='maxwell' \--password='maxwell' \--host='hdp103' \--producer=stdout（2）向 mysql 的 test_maxwell 库的 test 表插入一条数据，查看 maxwell 的控制台输出JSON在线格式化mysql> in

2.1 Maxwell 安装部署2.1.1 安装地址（1）Maxwell 官网地址：http://maxwells-daemon.io/（2）文档查看地址：http://maxwells-daemon.io/quickstart/2.1.2 安装部署（1）软件基础，读者需要提前安装好 kafka 和 MySQL，此文档不再赘述。（2）上传 maxwell-1.29.2.tar.gz 到 /opt/software 下（3）解压 maxwell-1.29.2.tar.gz 的安装包到 /opt/

1.1 Maxwell 定义Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取MySQL 二进制日志 Binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。官网地址：http://maxwells-daemon.io/注意：如果你用的JDK8，Maxwell需要用v1.30.0之前的版本（v1.29.2）1.2

在数据仓库的模型设计的过程中，通常我们会碰到那种非常大的业务基础信息表，如用户表；假如一个用户表有10亿条记录，50个列，就算使用orc压缩，但张表的存储也会超过100G，如果同步到Hive中按HDFS的默认备份，那就是300G，这样对磁盘的消耗也是非常大的。假设该表的某些字段在业务端会产生update操作，但是每次update的字段就那么1到2个，其它字段不变，那么这些变化不频繁的维度字段被称为缓慢渐变维，而且相同id的变update频率很小，每天update的记录只占全表记录的很小一部分。

macOS big sur vagrant up无法正常启动vagrant up报如下错误：==> hdp1: Setting the name of the VM: hdp1==> hdp1: Clearing any previously set network interfaces...There was an error while executing `VBoxManage`, a CLI used by Vagrantfor controlling VirtualBox.

Python操作TDengine并进行简单风机预测应用安装Linux端安装Python Connector1、确保Linux环境下安装了Python环境，我的python版本Python3.6.0。2、从https://github.com/taosdata/TDengine下载源码，解压后放到服务器上创建的TDengine目录下，在源代码的src/connector/python文件夹...

第 10 章 K-Means（K-均值）聚类算法一、概述1.1.聚类的定义聚类就是对大量未知标注的数据集，按照数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的相似度较小。聚类算法的重点就是计算数据间的相似度。1.2.相似度衡量方法1.2.1.闵可夫斯基距离（Minkowski）当p=1时，为曼哈顿距离（Manhattan）当p=2时，为欧式距离（Euc...

【转】第14章 利用SVD简化数据一、svd概述奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不仅用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理领域的隐性语义检索（Latent Semantic Indexing, LSI）或 隐形语义分析（Latent Semantic Analysis, LSA）。...

第13章 利用 PCA 来简化数据一、背景1.降维技术场景我们正通过电视观看体育比赛，在电视的显示器上有一个球。显示器大概包含了100万像素点，而球则可能是由较少的像素点组成，例如说一千个像素点。人们实时的将显示器上的百万像素转换成为一个三维图像，该图像就给出运动场上球的位置。在这个过程中，人们已经将百万像素点的数据，降至为三维。这个过程就称为降维(dimensionality...

第12章 使用FP-growth算法来高效发现频繁项集一、背景大家都用过搜索引擎。当我们输入一个单词或单词的一份，搜索引擎就会自动补全查询词项。例如：当我们在百度输入“为什么”时，会出现很多的推荐结果。为了给出这些推荐查词词项，公司的研究人员使用了本本章将要介绍的一个算法–FP-growth算法，高效发现频繁项集的方法。FP-growth 算法优缺点:优点： 1. 因为 FP-growth...

第11章 使用Apriori算法进行关联分析一、背景在超市中，实际上包含了许多机器学习的应用，包括超市物品的展示方式、摆放位置、购物之后优惠券的提供以及用户的忠诚度计划等。他们都离不开数据的分析。本文介绍关联分析，即从大规模数据集中寻找物品间的隐含关系。最著名的一个例子：啤酒与尿布的例子关联分析中最有名的例子是“尿布与啤酒”。据报道，美国中西部的一家连锁店发现，男人们会在周四购买尿布和...

spark的前世今生一、spark是什么？（介绍）Spark，是一种"OneStack to rule them all"的大数据计算框架，是一种基于内存的分布式计算框架，于2009年诞生于加州大学伯克利分校AMPLab（AMP：Algorithms，Machines，People），它最初属于伯克利大学的研究性项目，后来在2010年正式开源，并于 2013 年成为了 Apache 基金项目，...

opentsDB单机版安装一、jdk安装1.下载https://www.oracle.com/technetwork/java/javase/downloads/index.html2.利用SecureCRT对服务器上传jdk，解压下载的jdk1.8.0_131tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local3.配置环境变量vi /...

python pandas处理大数据节省内存的方法数值类型的列进行降级处理字符串类型的列转化为类别类型（category）字符串类型的列的类别数超过总行数的一半时，建议使用object类型'''减少内存的使用'''def reduce_mem_usage(df, verbose=True): numerics = ['int16', 'int32', 'int64', '...

heroku 部署redmine3.4一、安装依赖1.安装一些依赖包yum -y install gcc mysql-devel ruby-devel rubygems libxml2 postgresql-devel ImageMagick ImageMagick-devel sqlite-devel git2.rvm 安装ruby2.4.4(为了后续 herok...

laravel5.5 heroku上线部署1.登录你的 Heroku 账号heroku login2.添加 SSH Key 到 Herokuheroku keys:add3.Laravel 项目通过配置 Procfile 文件来告诉 Heroku 应当使用什么命令来启动 Web 服务器。echo web: vendor/bin/heroku-php-...

centos7安装MySQLdb1.先安装一些依赖包yum install gcc python-devel mysql-devel -y2.下载mysqldb1.2.53.进入解压目录执行python setup.py install出现如下错误：Traceback (most recent call last): File "setup....

centos7支持xming1. 关于 XmingXming 是一个在 Microsoft Windows 计算机上运行的开源 X-Windows 终端機仿真器（X 服务器）。Xming 容让 Windows 机器显示在远程 Linux 服务器上执行的图像化 Linux 程序。除了基本安装程序外，本文章亦示范如何利用 PuTTY SSH 客端程序保障 Xming 下的 X-Window...

JVM实用参数（八）GC日志原文地址：https://blog.codecentric.de/en/2014/01/useful-jvm-flags-part-8-gc-logging/作者：PATRICK PESCHLOW，译者：Greenster 校对：梁海舰本系列的最后一部分是有关垃圾收集（GC）日志的JVM参数。GC日志是一个很重要的工具，它准确记录了每一次的GC的执行时间和执...

laravel5.5实现下拉菜单点选实时更新数据laravel5.5通过echarts实现画图功能，主要包括3个步骤：1.html设置显示方式；2.引入echarts.js;3.通过js设置图片的展示方式 效果图如下： 一、html设置显示方式这里只保留了主要代码部分。...<div class="box"> <div class="box-...