- 博客(41)
- 资源 (28)
- 收藏
- 关注
RSS订阅转载 DataNode启动后自动停止的问题（ Incompatible clusterIDs in /xxx/xxx；namenode clusterID = xxxx；datanode clusterI）
25.25.37DataNode启动后自动停止的问题 java.io.IOException: Incompatible clusterIDs in /home/lxh/hadoop/hdfs/data: namenode clusterID = CID-a3938a0b-57b5-458d-841c-d096e2b7a71c; datanode clusterID = CID-200e6206-98b5-44b2-9e48-262871825.25.37.1概述解决hadoop启动hdfs时，data
2021-04-25 17:37:36
504
原创 ssh中添加隧道，访问目标机器上的地址
网络结构如下：注意：下面的跳板机可以通过curl -lv http://targetIp:port 访问到页面。配置案例：接着在本地的浏览器上输入：http://localhost:20000/,可以看到：说明该配置成功了。
2021-04-23 10:08:12
404
转载 Flink示例——Flink-CDC
Flink示例——Flink-CDC版本信息产品版本Flink1.11.1flink-cdc-connectors1.1.0Java1.8.0_231MySQL5.7.16注意：官方说目前支持MySQL-5.7和8，但笔者还简单测试过mariadb-10.0.38（对应MySQL-5.6）。包括增加、删除、更新、聚合，目前皆可用，但不排除未知问题。Mavan依赖pom.xml 依赖部分<properties> <proj
2021-04-14 13:46:19
2352
4
转载 基于 Flink SQL CDC的实时数据同步方案
本文转自：http://www.dreamwu.com/post-1594.htmlFlink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。传统数据同步方案基于 Flink SQL CDC 的数据同步方案（Demo）Flink SQL CDC 的
2021-04-14 10:18:22
2056
原创 01_Eclipse Memory analyzer的使用，hprof分析
1、 新建工程编写Demo,内容如下：package jvm;public class Demo { }DemoTest的内容如下：package jvm;import java.util.ArrayList;import java.util.List;public class DemoTest { public static void main(String[] args) { List<Demo> demoList = new ArrayList<
2021-04-12 23:51:39
2002
原创 1.18.2.5.Table API&SQL(查询表、Table API、SQL、混用Table API和SQL、输出表、翻译与执行查询、Blink planner、Old planner)等
1.18.2.5.查询表1.18.2.5.1.Table API1.18.2.5.2.SQL1.18.2.5.3.混用Table API和SQL1.18.2.6.输出表1.18.2.7.翻译与执行查询1.18.2.7.1.Blink planner1.18.2.7.2.Old planner1.18.2.5.查询表1.18.2.5.1.Table APITable API 是关于 Scala 和 Java 的集成语言式查询 API。与 SQL 相反，Table API 的查询不是由字符串
2021-04-11 15:38:31
791
原创 1.18.2.Table API&SQL(概念与通用API、两种计划器（Planner）的主要区别、创建 TableEnvironment、临时表、永久表、创建表、虚拟表、Connector 等)
1.18.2.概念与通用API1.18.2.1.两种计划器（Planner）的主要区别：1.18.2.2.Table API和SQL程序的结构1.18.2.3.创建 TableEnvironment1.18.2.4.在Catalog中创建表1.18.2.4.1.临时表（Temporary Table）和永久表（Permanent Table）1.18.2.4.1.1.屏蔽（Shadowing）1.18.2.4.2.创建表1.18.2.4.2.1.虚拟表1.18.2.4.2.2.Connec
2021-04-11 15:25:47
1076
原创 1.18.Table API & SQL(概念、依赖图、Table程序依赖、扩展依赖)
1.18.Table API & SQL1.18.1.概念1.18.1.1.依赖图1.18.1.2.Table程序依赖1.18.1.3.扩展依赖1.18.Table API & SQL1.18.1.概念Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apach
2021-04-11 15:12:05
893
原创 1.17.Flink 并行度详解(Parallel)、TaskManager与Slot、Operator Level、Execution Environment Level、Client Level等
1.17.Flink 并行度详解(Parallel)1.17.1.TaskManager与Slot1.17.2.TaskManager与Slot1.17.3.并行度(Parallel)1.17.4.并行度（Parallel）的设置1.17.4.1.并行度设置之Operator Level1.17.4.2.并行度设置之Execution Environment Level1.17.4.3.并行度设置之Client Level1.17.4.4.并行度设置之System Level1.17.Fl
2021-04-11 15:04:22
1238
原创 1.16.Flink Window和Time详解、TimeWindow的应用、Window聚合分类之全量聚合、全量聚合状态变化过程-求最大值、Time介绍、EventTime和Watermarks等
1.16.Flink Window和Time详解1.16.1.Window(窗口)1.16.2.Window的类型1.16.3.Window类型汇总1.16.4.TimeWindow的应用1.16.5.CountWindow的应用1.16.6.Window聚合分类1.16.7.Window聚合分类之增量聚合1.16.7.1.增量聚合状态变化过程-累加求和1.16.7.2.reduce(reduceFunction)1.16.7.3.aggregate(aggregateFunction)
2021-04-11 00:05:12
1351
原创 1.15.Flink state(状态)管理与恢复、什么是state、Keyed State、Operator State、状态容错(生成快照,恢复快照),checkPoint简介,重启策略等
1.15.Flink state(状态)管理与恢复1.15.1.什么是state1.15.2.状态（State）1.15.3.Keyed State1.15.4.Operator State1.15.4.1.Snapshotting Operator State1.15.5.状态容错1.15.6.状态容错-生成快照1.15.7.状态容错–恢复快照1.15.8.checkPoint简介1.15.8.1.Barriers1.15.8.2.Recovery1.15.9.CheckPoint
2021-04-10 23:39:18
1474
原创 1.13.、1.14.Flink 支持的DataType和序列化、Flink Broadcast & Accumulators & Counters &Distributed Cache
1.13.Flink 支持的DataType和序列化1.13.1.Flink支持的DataType1.13.2.Flink的序列化1.14.Flink Broadcast & Accumulators & Counters &Distributed Cache1.14.1.DataStreaming中的Broadcast1.14.2.Flink Broadcast(广播变量)1.14.3.Flink Accumulators & Counters1.14.4.F
2021-04-10 23:02:54
1812
原创 1.12.Flink Kafka-Connector详解、Consumer消费策略设置、动态加载Topic、Consumers Offset 自动提交、Producer、容错等
1.12.Flink Kafka-Connector详解1.12.1.Kafka Consumer消费策略设置1.12.2.Kafka Consumer的容错1.12.3.动态加载Topic1.12.4.Kafka Consumers Offset 自动提交1.12.5.Kafka Producer1.12.6.Kafka Producer的容错-Kafka 0.9 and 0.101.12.7.Kafka Producer的容错-Kafka 0.111.12.Flink Kafka-Con
2021-04-10 22:51:24
2498
原创 1.11.Flink DataSetAPI、DataSet API之Data Sources、DataSet API之Transformations、DataSet Sink部分详解
1.11.Flink DataSetAPI1.11.1.DataSet API之Data Sources1.11.2.DataSet API之Transformations1.11.3.DataSet Sink部分详解1.11.Flink DataSetAPI1.11.1.DataSet API之Data Sources基于文件readTextFile(path)基于集合fromCollection(Collection)1.11.2.DataSet API之Transformat
2021-04-10 22:34:24
767
原创 1.10.Flink DataStreamAPI(API的抽象级别、Data Sources、connectors、Source容错性保证、Sink容错性保证、自定义sink、partition等)
1.10.Flink DataStreamAPI1.10.1.Flink API的抽象级别1.10.2.DatSource部分详解1.10.2.1.DataStream API之Data Sources1.10.2.2.DataSources API1.10.2.3.DataStream内置connectors1.10.2.4.Source容错性保证1.10.2.5.Sink容错性保证1.10.2.6.自定义sink1.10.2.7.Table & SQL Connectors1
2021-04-10 19:56:45
732
原创 Nacos 快速开始、版本选择、预备环境准备、下载源码或者安装包、从 Github 上下载源码方式、下载编译后压缩包方式、配置nacos、配置集群、启动服务器、服务注册&发现和配置管理、关闭服务器
1.Nacos 快速开始1.1.版本选择1.2.预备环境准备1.3.下载源码或者安装包1.3.1.从 Github 上下载源码方式1.3.2.下载编译后压缩包方式1.3.3.配置nacos1.3.4.配置集群1.3.5.启动服务器1.3.6.服务注册&发现和配置管理1.3.7.关闭服务器1.Nacos 快速开始这个快速开始手册是帮忙您快速在您的电脑上，下载、安装并使用 Nacos。1.1.版本选择您可以在Nacos的release notes及博客中找到每个版本支持的功能
2021-04-10 19:26:08
1077
原创 3.商品可视化展示与文本处理
3.商品可视化展示与文本处理3.1.依赖包安装准备工作，先安装scikit-learn,scipy,numpy等等(base) C:\Users\toto>pip install scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simpleLooking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleRequirement already satisfied: scikit-lea
2021-04-10 12:37:15
1003
1
原创 2.5.jieba分词工具、Jieba安装、全模式/精确模式、添加自定义词典、关键词抽取、词性标注、词云展示
2.5.jieba分词工具2.5.1.Jieba安装2.5.2.全模式/精确模式2.5.3.添加自定义词典2.5.4.关键词抽取2.5.5.词性标注2.5.6.词云展示2.5.jieba分词工具2.5.1.Jieba安装(base) C:\Users\toto>pip install jieba -i https://pypi.tuna.tsinghua.edu.cn/simpleLooking in indexes: https://pypi.tuna.tsinghua.edu.
2021-04-10 11:50:36
1356
原创 2.4.安装spaCy
2.4.安装spaCy进入Anaconda的prompt命令行界面，执行如下：(base) C:\Users\toto>pip install spaCy -i https://pypi.tuna.tsinghua.edu.cn/simpleLooking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleCollecting spaCy Using cached https://pypi.tuna.tsinghua.edu.cn/pa
2021-04-10 11:28:56
873
原创 2.3.NLTK工具包安装、分词、Text对象、停用词、过滤掉停用词、词性标注、分块、命名实体识别、数据清洗实例、参考文章
2.3.NLTK工具包安装2.3.1.分词2.3.2.Text对象2.3.3.停用词2.3.4.过滤掉停用词2.3.5.词性标注2.3.6.分块2.3.7.命名实体识别2.3.8.数据清洗实例2.3.9.参考文章2.3.NLTK工具包安装非常实用的文本处理工具，主要用于英文数据，历史悠久~(base) C:\Users\toto>pip install nltk -i https://pypi.tuna.tsinghua.edu.cn/simpleLooking in ind
2021-04-10 11:25:04
1473
原创 2.2.python正则表达式
2.2.正则表达式2.2.1.正则表达式语法2.2.2.Python正则表达式2.2.2.1.字符集合2.2.2.2.‘或’方法2.2.2.3.匹配数字’\d’等价于[0-9]2.2.2.4.‘\D’匹配非数字2.2.2.5.’\w’匹配字母和数字2.2.2.6.‘\W’匹配非字母和数字2.2.2.7.‘\s’匹配间隔符2.2.2.8.重复2.2.2.9.精确匹配和最小匹配2.2.3.match与search2.2.3.1.字符串的替换和修改2.2.3.2.split 切片函数。
2021-04-10 11:07:12
969
原创 2.1.Python字符串处理（去掉空格或者特殊字符、替换操作、查找操作、判断操作、分割合并操作、字符串文档）
2.1.Python字符串处理2.1.1.去掉空格或者特殊字符2.1.2.替换操作2.1.3.查找操作2.1.4.判断操作2.1.5.分割合并操作2.1.6.字符串文档2.1.Python字符串处理2.1.1.去掉空格或者特殊字符# -*- coding: UTF-8 -*-"""1、去掉空格或者特殊字符"""input_str = ' 今天天气不错，今天挺风和日丽的 '# 去掉两边的空格print(input_str.strip())# 去掉右边的空格print(in
2021-04-10 10:53:02
3560
原创 1_自然语言处理简介、数据源、应用领域、课程体系
1.自然语言处理简介1.1.自然语言处理1.2.数据源1.3.应用领域1.4.课程体系1.自然语言处理简介1.1.自然语言处理为什么需要自然语言处理人工成本较高，海量数据挖掘困难，人类带有主观色彩要做一件什么事？让机器学习帮助人类解决实际问题如何去做呢？以机器学习和文本处理为核心1.2.数据源1.3.应用领域应用领域：文本摘要创作生成智能识别客服机器人情感分析统计分析搜索识别机器翻译1.4.课程体系...
2021-04-10 10:40:43
441
原创 34.35.热图（heatmap）、创建带注释的热图、使用辅助函数的代码样式、图像显示、图像插值、将图像数据导入Numpy数组、将numpy数组绘制为图像
34.热图（heatmap）34.1.创建带注释的热图34.2.使用辅助函数的代码样式35.图像显示35.1.图像插值35.2.将图像数据导入Numpy数组35.3.将numpy数组绘制为图像34.热图（heatmap）34.1.创建带注释的热图将依赖于两个自变量的数据显示为彩色图像图,通常称为热图。如果数据是分类的，则将其称为分类热图。 Matplotlib的imshow函数使这种绘图的制作特别容易。以下示例显示了如何创建带有注释的热图。我们将从一个简单的分类热图开始。我们可以从定义
2021-04-10 10:34:12
2780
原创 30.32.33.词云图、3D绘图、矩阵可视化、绘制混淆矩阵
30.词云图（Word cloud）30.1.Example 1: Basic word cloud31.3D绘图31.1.在3D图上绘制2D数据31.2.3D 散点图 (scatterplot)31.3.3D surface (color map)32.矩阵可视化（Matshow）33.绘制混淆矩阵（plot Confusion Matrix）30.词云图（Word cloud）词云图作用主要是为了文本数据的视觉表示，由词汇组成类似云的彩色图形。相对柱状图，折线图，饼图等等用来显示数值数
2021-04-10 10:22:52
2490
原创 26.27.28.29.极区图（南丁格尔玫瑰图）、维恩图 （Venn diagram）、面状图（Area chart）、树地图
26.极区图（南丁格尔玫瑰图）27.维恩图 （Venn diagram）28.面状图（Area chart）29.树地图26.极区图（南丁格尔玫瑰图）极区图（又名南丁格尔玫瑰图）呈放射延伸状，每块会占一定的角度。其半径大小表示它代表的某一类数据的大小。其角度大小表示它所占总类别的比例。南丁格尔玫瑰图，是由南丁格尔发明的，她是英国护士和统计学家。其在英国军营工作时收集了在克里米亚战争时期的士兵在不同月份的死亡率和原因分布，通过玫瑰图的方式有效的打动了当时的高层管理人员，于是医疗改良的提案才受到了大
2021-04-10 09:53:03
3733
原创 22.23.24.25.盒须图（boxplot）、棉棒图(Stem Plot； Lollipop plot)、极坐标图、雷达图（Radar Chart）
22.盒须图（boxplot）23.棉棒图(Stem Plot; Lollipop plot)24.极坐标图25.雷达图（Radar Chart）22.盒须图（boxplot）盒须图(也称为箱形图）是一种图表类型，通常用于说明性数据分析中，通过显示数据四分位数（或百分位数）和平均值来直观地显示数值数据的分布和偏度（skewness）。箱形图于1977年由美国著名统计学家约翰·图基（John Tukey）发明。它能显示出一组数据的最大值、最小值、中位数、及上下四分位数。最小值(minimum
2021-04-10 09:42:11
5001
原创 21.等值线图（Counter Plot）、Contour Demo、Creating a “meshgrid”、Calculation of the Values、等
21.等值线图（Counter Plot）21.1.Contour Demo21.2.Creating a “meshgrid”21.3.Calculation of the Values21.4.Changing the Colours and the Line Style21.5.Filled Contours21.6.Individual Colours21.等值线图（Counter Plot）两个变量函数的等值线(或等高线)是函数具有常数值的曲线。它是平行于x，y平面的函数f(x,y
2021-04-10 09:26:06
2099
原创 19、20_散点图、连接散点图、气泡图、不同颜色的散点图、直方图
19.散点图（Scatter plots）19.1.连接散点图 (Connected scatter plot)19.2.气泡图（Bubble chart）19.3.不同颜色的散点图20.直方图（Histograms）19.散点图（Scatter plots）当想显示两个变量之间的关系时，使用散点图。 散点图有时称为相关图，因为它们显示了两个变量之间的关系。import numpy as npimport matplotlib.pyplot as pltplt.scatter(x=ran
2021-04-09 12:41:35
1716
原创 16、17、18_使用gridspec定义多子图,条形图（Bar plots）,分组条形图,堆叠条形图(Stacked bar chart),饼图（Pie plots）,甜甜圈图,嵌套饼图
16.使用gridspec定义多子图16.1.图标题17.条形图（Bar plots）17.1.分组条形图17.2.堆叠条形图(Stacked bar chart)18.饼图（Pie plots）18.1.甜甜圈图(Donut chart)18.2.嵌套饼图 （Nested pie chart）16.使用gridspec定义多子图matplotlib.gridspec包含一个GridSpec类。它可以替代subplot来指定要创建的子图的几何布局。GridSpec背后的基本思路是”grid
2021-04-09 12:24:09
1265
原创 15_多子图-Subplot、Subplot: 使用多个figures和 axes、替代解决方案：
15.多子图-Subplot15.1.Subplot: 使用多个figures和 axes15.2.替代解决方案：15.多子图-SubplotMatplotlib绘图时一个常见问题是如何在一个图中包含多个图。即如何实现在一个窗口中有多个图形，每个图形都出现在子图中。我们将使用两种不同的方法来实现这一目标：subplotgridspec15.1.Subplot: 使用多个figures和 axessubplot及其参数：subplot(nrows, ncols, plot_number
2021-04-08 20:30:47
1083
原创 14_面向对象API绘图、图中图 (A Plot inside of Another Plot)、设定绘图范围Setting the Plot Range、对数尺度Logarithmic Scale
14.面向对象API绘图14.1.图中图 (A Plot inside of Another Plot)14.2.设定绘图范围 （Setting the Plot Range）14.3.对数尺度（Logarithmic Scale）14.面向对象API绘图Matplotlib绘图库的操作是通过API实现的，一种操作方法是类似MATLAB的函数接口的API;另一种操作方法是面向对象的API。这两种API可以并行使用，不过函数接口的API的易用性明显好于面向对象的API。就像Python本身一样，M
2021-04-08 20:23:28
665
原创 9、10、11、12、13_添加标注 (Annotations)、添加网格线（Grid Lines）、显示中文字体、保存图形（saving Figures）、高质量矢量图输出
9.添加标注 (Annotations)10.添加网格线（Grid Lines）11.显示中文字体12.保存图形（saving Figures）13.高质量矢量图输出9.添加标注 (Annotations)有时候我们对某点如3∗sin(3∗pi/4)的值特别感兴趣。import numpy as npprint(3 * np.sin(3 * np.pi / 4))2.121320343559643如果想在图标上标出这一点，可以使用annotate函数执行此操作。import nump
2021-04-08 12:35:18
614
原创 08_添加图例、添加标题（Adding a Title）
8.添加图例对于前面示例的折线图，我们必须查看代码来了解描述的是哪种函数。 为方便起见，应在绘图中提供此信息。图例（Legend）常在地图中使用。 Legend用来描述地图的图形语言或符号系统。Matplotlib可以使用图例来解释图中函数或值的代表的含义。在下面的简单示例中演示如何在图形上放置图例。 图例包含一个或多个entries。 每个entry都包含一个键(key)和一个标签(label)。pyplot 函数legend(*args, **kwargs)用来在轴上放置一个图例# n
2021-04-08 12:20:37
1400
原创 07_设置坐标轴刻度、设置刻度标签（Setting Tick Labels）、调整刻度标签 (Adjusting the ticklabels)
7.设置刻度7.1.设置坐标轴刻度7.2.设置刻度标签（Setting Tick Labels）7.3.调整刻度标签 (Adjusting the ticklabels)7.设置刻度7.1.设置坐标轴刻度到目前为止，在所有例子中Matplotlib都自动负责了确定轴上间距点的任务。例如，可以看到前面一个例子中的X轴编号为 -6. -4, -2, 0, 2, 4, 6, 而Y轴编号 -1.0，0, 1.0, 2.0, 3.0使用xticks或yticks可获取或设置当前的刻度位置和标签。im
2021-04-08 12:15:37
6645
原创 hive中存Array类型的数据的案例，将字符串的数组格式转成数组的字符串，自定义函数方式处理‘[12,23,23,34]‘字符串格式的数据为array＜int＞格式的数据。
1、创建表带有Array的表：create table t_afan_test(info1 array<int>,info2 array<string>)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'COLLECTION ITEMS TERMINATED BY ',';2、插入数据：insert into t_afan_test values (array(12,23,23,34),array("what","are"
2021-04-07 19:34:11
7776
原创 04_05_06：设置线型风格（设置线型风格）、区域着色 (Shading Regions)、设置Spines
4.设置线型风格4.1.设置线型风格5.区域着色 (Shading Regions)6.设置Spines4.设置线型风格4.1.设置线型风格可以使用绘图函数的linestyle或ls参数来影响绘图的线型风格。可以使用linewidth来设置一条线的宽度。import matplotlib.pyplot as pltimport numpy as npX = np.linspace(0, 2 * np.pi, 50, endpoint=True)F1 = 3 * np.sin(X)
2021-04-07 12:36:42
430
1
原创 03_设置轴标签和范围、轴的标签（Labels on Axes）、定义轴的范围、使用linspace定义X值 （“linspace“ to Define X Values）
3.设置轴标签和范围3.1.轴的标签（Labels on Axes）3.2.定义轴的范围3.3.使用linspace定义X值 （“linspace” to Define X Values）3.设置轴标签和范围3.1.轴的标签（Labels on Axes）我们可以向轴添加标签来改善图形的外观。 这可以通过pyplot的ylabel和xlabel函数来完成。import matplotlib.pyplot as pltdays = list(range(1, 9))print(days)'
2021-04-07 12:30:30
1282
1
原创 02_pyplot.plot函数、回顾第一个例子、格式字符串、plot函数、线型风格字符、标记(marker)字符、颜色字符
2.pyplot.plot函数2.1.回顾第一个例子2.2.格式字符串2.3.plot函数2.3.1.线型风格字符2.3.2.标记(marker)字符2.3.3.颜色字符2.pyplot.plot函数2.1.回顾第一个例子在第一个例子中：import matplotlib.pyplot as pltplt.plot([-1, -4.5, 16, 23])plt.show() 即使为Y值提供的离散数据，我们看到的是一个连续的图。2.2.格式字符串通过向plot函数调用添加一个
2021-04-06 12:44:14
1252
原创 01_初识Matplotlib、Figure的组成、绘图函数的输入类型、第一个例子（学习笔记）
1.初识Matplotlib1.1.Figure的组成1.2.绘图函数的输入类型1.3.第一个例子1.初识MatplotlibMatplotlib是Python的一个模块，是一个绘图库。Matplotlib如果与Numpy和Scipy结合使用可认为是MATLAB的替代品。MATLAB是昂贵且封闭的，但Matplotlib是免费的开源代码。MATLAB用户非常容易地迁移到Matplotlib。Matplotlib的另一个特点是其陡峭的学习曲线，这意味着用户通常在开始后快速进步。官方网站说明了
2021-04-06 12:29:36
436
easyui资料
2014-02-22
17个在线编辑器，包括kindeditor，STEditor，HTMLArea3.0last20071025等
2012-07-22
二手购物网源码
2012-05-31
强大的购物网代码（java）
2012-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人