- 博客(18)
- 收藏
- 关注
RSS订阅原创 flink run -C 与 -c
简直无语，来看下官方解释，喵的就不能写清楚一点咩？？？-C可用来添加外部依赖jar包，如自己开发的工具jar包，一个个添加，不能是目录-c指定main()所在的类正确用法flink run -d \ -C "file:///DSJ/flink-1.11.1/ep/xxxx1.jar" \ -C "file:///DSJ/flink-1.11.1/ep/xxxx2.jar" \ -C "file:///DSJ/flink-1.11.1/ep/xxxx3.jar" \ -C "fi
2021-02-04 16:01:20
3206
2
原创 spark去重优化
在spark的任务中，用的较多的去重方法是dataframe的distinct，笔者在测试中发现这种方法其实很次的，尤其是在大量数据的去重的过程中。测试数据的数据结构如下，主要是userid，其他字段随意。userid:String, column1:String数据大小方法一，使用dataframe的distinct去重：df.selectExpr($"userid").distinct()这种方法是最简单而且个人认为效率是最次的，当时测试了16260037条数据，对用户id去重，其实去
2020-11-19 18:02:05
3404
6
原创 toAppendStream doesn‘t support consuming update and delete changes which is produced by node XXX
bug如下：Exception in thread "main" org.apache.flink.table.api.TableException: toAppendStream doesn't support consuming update and delete changes which is produced by node Join(joinType=[LeftOuterJoin], where=[(leftxxx = rightxxx)], select=[xxx, xxx, xxx,
2020-11-11 10:20:45
3153
原创 scala数据结构笔记
scala数据结构笔记coalesce与repartitionclose和stopcoalesce与repartition先看源码 def coalesce(numPartitions: Int): Dataset[T] = withTypedPlan { Repartition(numPartitions, shuffle = false, logicalPlan) } def repartition(numPartitions: Int): Dataset[T] = withT
2020-08-05 11:47:04
269
原创 spark、flink笔记整理
spark、flink笔记整理spark架构组成提交到yarn提交到clusterspark架构组成提交到yarn提交到cluster
2020-08-03 14:10:34
143
原创 kafka、hive、mysql、redis、hbase架构笔记
kafka架构笔记介绍设计特点主题和日志生产者消费者名词介绍kafka是一个分布式流平台。设计①可跨越多个数据中心作为集群运行②将记录流存储在topic中③每个记录由一个键、一个值、一个时间戳组成特点①允许应用程序发布的记录流到多个topic②应用程序可订阅多个topic，并处理他们③应用程序可充当流处理器，消费数据并生产数据到topic④生产者、消费者可重复使用⑤管理和检查topic主题和日志①每个topic可以有0、1、n个消费者去消费他②topic的每个分区都是一个有序
2020-07-29 09:46:03
802
原创 yarn HA配置整理
yarn HA配置整理yarn-site.xmlyarn-site.xml<configuration><!-- 启动yarn的高可用 --><property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value></property><!-- yarn集群的名称 --><propert
2020-07-24 17:12:42
152
原创 hdfs HA配置整理
hdfs HA配置整理core-site.xmlhdfs-site.xmlhdfs启动三台机器，每台机器1G内存，1个核，20G硬盘配置有点菜，将就着练习用吧core-site.xml<configuration><property> <name>fs.defaultFS</name> <value>hdfs://my-xiaohai</value></property><propert
2020-07-24 17:03:20
216
原创 hdfs、yarn、zk架构笔记整理
hdfs架构笔记整理介绍目标角色数据备份元数据持久性通讯协议健壮性数据结构易用性空间回收介绍hadoop是一个分布式文件系统，运行在多台机器上，具有高容错性，可运行在廉价的机器上（hdfs用java构建，支持java的机器）。目标1、故障检测和快速自动恢复是HDFS的核心架构目标2、为批处理而设计，适合高吞吐的数据访问，而不是低延迟的小文件访问，适合处理大型文件3、保持数据一致性，文件一旦被创建、写入和关闭，除了追加和截断外，不应该去更新他，即一写多读4、hdfs为应用程序提供接口，让计算更接
2020-07-24 16:17:33
428
原创 eclipse javaweb项目目录结构
WebContent：一般我们用 Eclipse 的时候创建一个 Web Project，就会生成 WebContent 文件夹，用 MyEclipse 的时候创建一个 Web Project，就会生成 WebRoot 文件夹，这两个文件夹作用一样只是名称不同而已。WebContent 用来存放 JSP，JS，CSS，图片等文件，是项目访问的默认路径，也是工程的发布文件夹，发布时会把该文件夹发布...
2019-09-27 14:51:34
4603
原创 华为机试在线练习：简单密码
题目描述密码是我们生活中非常重要的东东，我们的那么一点不能说的秘密就全靠它了。哇哈哈. 接下来渊子要在密码之上再加一套密码，虽然简单但也安全。假设渊子原来一个BBS上的密码为zvbo9441987,为了方便记忆，他通过一种算法把这个密码变换成YUANzhi1987，这个密码是他的名字和出生年份，怎么忘都忘不了，而且可以明目张胆地放在显眼的地方而不被别人知道真正的密码。他是这么变换的，大家都知...
2019-09-23 11:31:43
267
原创 Could not resolve host: mirrorlist.centos.org; Unknown error
yum安装某包报错如下：[luohaifang@Slave3 software]$ sudo yum install libaioLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfileCould not retrieve mirrorlist http://mirrorlist.centos.org/?...
2019-08-28 16:12:23
2070
原创 Windows安装Apache(解决问题Set the 'ServerName' directive globally to suppress this message)
下载Apache修改tttp.conf文件命令安装http服务(解决问题Could not reliably determine the server’s fully qualified domain name, using fe80::d558:4c0:68e3:fdd1. Set the ‘ServerName’ directive globally to suppress this ...
2019-08-15 20:56:05
13552
原创 操作系统计算FIFO,LRU,OPT,LFU,NUR缺页率,C语言实现
操作系统计算FIFO,LRU,OPT,LFU,NUR缺页率修改“计算机操作系统教程第四版习题解答与实验指导”中实验四置换算法存在的bug该程序是比较这5种页面置换算法的缺页率引入头文件、定义常数值、结构体、函数声明#include <stdio.h>#include <stdlib.h>#include <math.h>#include <u...
2019-06-30 18:30:53
11298
2
原创 完全卸载VMware
看了网上的很多方法，总结了一下，要把 VMware的安装目录删掉的话，要进行一下操作，否则删不干净一、把VMware的服务停掉右击“我的电脑”，选择“管理”，选择“服务和应用程序”，选择“服务”，停掉这些服务二、把注册表的vm目录给删了windows+R，输入regedit依次点开这些目录，主要找software目录和system目录下的vm开头的文件夹（打开看一下有没有VMware文...
2019-06-17 21:39:54
80276
13
原创 虚拟机打开（运行）不了
第一种情况由于非正常情况退出造成的，找到这个虚拟机所在的目录，把这个.lck文件夹删掉第二种情况提示运行权限不够以管理员身份运行，但做出的操作无法恢复...
2019-06-16 17:29:29
2815
原创 使用IUC(insight user console)进行数据可视化和分析
对数据源csv文件进行数据可视化和分析工作点击浏览器进入ICU登录平台，地址为http://localhost:8080/insight/Home创建数据源选择数据源文件的类型和路径以及编码点击next，然后finish，就创建完成，再点击创建分析式报表，进行数据可视化选择已打开的文件，就能找到刚才自己创建的了，选择OK，即可进入可视化操作界面在数据源没有出错的情况下，在...
2019-05-28 14:01:34
1985
6
原创 使用C++求字符串的所有子串
使用C++求字符串的所有子串，如字符串“abcd”，它的全部子串应该为a，ab，abc，b，bc，bcd，c，cd，d。使用C++编写程序。结果中包括原字符串结果代码#include<iostream>#include<string.h>#include<string>using namespace std;void Substring(stri...
2019-05-06 15:30:10
13086
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人