- 博客(159)
- 收藏
- 关注
原创 正则表达式
1 近期出现sql使用过程通过正则替换转换数组等操作 特此记录一下正则的学习使用git上一个表较好的学习地址learn-regex/README-cn.md at master · ziishaned/learn-regex · GitHub听了一个b站视频【公开课】正则表达式入门_哔哩哔哩_bilibili边学边用吧...
2022-05-22 16:42:50
128
原创 mac m1 brew install elasticsearch
Installing Elasticsearch 6.8.15 on Apple-M1 Macbook issues - Stack Overflowhttps://github.com/Homebrew/discussions/discussions/925#discussioncomment-943622官网Install Kibana on macOS with Homebrew | Kibana Guide [7.15] | Elastichttps://www.elastic.co/gu
2021-10-09 16:21:59
540
原创 Scala 官网基础1
有道云链接在有道云写的 到这里全乱了https://note.youdao.com/ynoteshare1/index.html?id=acf94e8ed202685f06a31f721029d05a&type=note1 _使用2 官网1 在线练习2 官网说明3 基础1 表达式2 不可变变量 val3 可变变量 var4 代码块 Blocks5 函数 Functions6 方法 Methods1 方法名 2 参数列表 3 返回值类型 4 ..
2021-07-25 14:44:14
255
原创 Scala 基础环境搭建
1 下载及配置1 下载目录官网上面有一个下载所有版本的链接https://www.scala-lang.org/download/all.html这里因为spark官网3.0依赖scala 为2.12所以下载了scala 2.12.*版本的2 配置环境变量3 命令行看一下scala看一下版本号2 idea创建项目1 创建一个 简单maven项目2 下载scala的plugin3 在项目上点击 Add Frame Sup...
2021-07-25 14:12:39
142
原创 Kafka基础知识回顾之一 kafka基础概念
1 kafka基础名词概念好久不看 很多知识点都忘记了整理下之前的总结 kafka是什么 kafka基础构建 producer consumer broker topic partition offset replica isr hw leo ar ...
2021-06-03 12:35:07
110
原创 github 突然就443了 Failed to connect to github.com port 443: Timed out
1 问题Failed to connect to github.com port 443: Timed out2 试了下方案git config --global --unset http.proxy
2021-03-13 22:04:57
1043
原创 二叉树的算法
基础概念full binary treecomplete binary tree 完全二叉树 每一层都紧凑靠左排列perfect binary tree 满二叉树 每一层都是满的 像一个三角形
2021-03-04 22:48:24
106
1
原创 IDEA maven项目频繁更改jdk版本
1 在pom.xml添加properties文件<!--jdk版本指定 避免每次jdk版本被替换--> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> </properties>2.
2020-11-22 15:14:48
381
原创 深入学习 Kubernetes Service
1 Service定义2 Service基本用法3 Headless Service4 集群外部访问Pod或Service5 DNS服务搭建和配置指南6 Ingress:HTTP7层路由机制
2020-07-11 21:34:42
234
原创 整理一下Eclipse中安装PlantUml流程
PlantUML的使用依赖于另外一个插件,所以需要下载两个插件1 eclipse中下载PlantUMLhelp->install new software地址http://hallvard.github.io/plantuml/然后一路next finish2 下载Graphviz地址百度云链接: https://pan.baidu.com/s/1EP5IQyvu8HNCf-dsLTL_Mg 提取码: 7821如果安装出现2503参考另外一篇博客.
2020-07-05 20:31:57
1735
原创 windows 安装msi 出现报错 2503 无权限 使用cmd模式安装
如图所示的安装文件安装目录在D:\soft\plugins1 以管理员身份执行cmd命令2 执行命令msiexec /package "D:\soft\plugins\graphviz-2.38.msi"
2020-07-05 20:09:48
513
原创 Kubernetes 深入理解Pod 上
1 Pod定义2 Pod用法3静态Pod4 Pod容器共享5 Pod配置管理6 Pod生命周期和重启策略7 Pod调度8 Init container 初始化容器9 Pod升级和回滚10 Pod扩缩容11 使用statefulset搭建MongoDB集群
2020-06-26 22:45:39
137
原创 linux 内核 组成 内核空间 用户空间 页表
内核组成 简介 内核的任务 应用程序角度看 内核可以被视为增强计算机如内核寻址硬盘时,一系列操作都是内核完成,与程序不相干。从多程序并发运行角度看 可以将内核视为资源管理程序共享资源 包括CPU时间、磁盘空间、网络连接等内核视为库 提供一组面向系统的命令 实现策略 微内核 最基本的功能直接由中央内核实现, 宏内核 内核组成 部分 内核空间 核心内核 调用设备驱动程序 ..
2020-06-25 23:29:01
475
原创 spark 程序配置日志级别 通过log4j
spark 如何配置日志打印级别 Log4j.properties文件1、spark自身的打印级别首先明白如何设置spark本身的日志级别Edit yourconf/log4j.propertiesfile and change the following line:log4j.rootCategory=INFO, consoletolog4j.rootCateg...
2019-11-11 11:10:59
1242
原创 Kafka Streams 一些问题总结 以及消费者一些问题汇总
1、streams api 的疑惑1、释疑 kafka streams api和普通 consumer producer区别https://stackoverflow.com/questions/44014975/kafka-consumer-api-vs-streams-api2、kafka streams foreach操作如何进行数据库读写3、kafka streams...
2019-11-06 18:23:29
2168
原创 Spark 性能调优 从配置 以及代码层面 综合调优
前言调优之前调优大致方向1 Indirect Performance Enhancements 间接1 Design Choices1 Scala Versus Java Versus Python Versus R2 DataFrame Versus SQL versus Datasets versus RDDS2 Object Serialization in...
2019-11-06 15:07:22
571
原创 Spark本地调试遇到的 CheckPoint 序列化问题和org.apache.hadoop.nativeio.NativeIO$windows.createFilewithMode0
第一个问题Dstream checkpointing has been enabled but the Dstreams with their functions are not serializable原因是创建JSSC的函数 使用到 set参数,不能使用原生的 map.keyset因为不支持序列化 通过spark消费kafka 并且元数据通过checkpoint保存...
2019-10-21 14:23:47
881
原创 Spark DataFrame VS DataSet 如何创建DataFrame DataFrame 详解
一 概念预览1、对应关系2、DataFrames and Datasets3、Schemas定义:4、Structured Spark Types1、DataFrame Vs DataSet2、Columns3、Rows4、Spark Types5、Structured Api Execution预览1、逻辑计划 Logical Plannin...
2019-10-19 00:32:30
510
原创 java8中的Optional使用
1、如何处理null1、对null进行检查,,2、null带来的问题3、其他语言如何处理null2、引入Optional并不是所有地方都要加Optional<>3、Optional 方法1、如何创建Optional 对象1、Empty Optional2、not-null from a value3、null2、通过map 获得和转换O...
2019-10-13 22:05:02
276
原创 java8 Streams 流处理 中间api 结果api
StreamsWhat is Stream?在我看来 java的流处理 的两个过程其实和spark处理的 transform 以及 action算子是异曲同工之妙 都是懒加载,中间处理算子都只不过是转换算子,只有实际调用具体action算子之后才会触发整个streams pipline的计算过程流处理特点 遍历过程只能进行一次 使用内部迭代而无需借...
2019-09-28 12:01:01
172
原创 java8 Lambda表达式使用 以及变量的使用限制 方法引用
笔记地址lambda使用摘要1、lambdas in a nutshell1、简而言之2、lambda 表达式组成 参数 箭头 方法体3、lambda案例2、where and how to use lambdas1、Functional Interfaces2、Function descriptor3、the execute-around patt...
2019-09-26 21:19:07
6368
原创 java 8 Functions Stream
1、Functions in java特性总结2、Streams流处理两种方式1、顺序处理 sequential processing2、并行处理 parallel processing3、Default methods and java modules1、Functions in java方法和lambdas 作为一阶公民特性总结method ref...
2019-09-23 00:33:16
190
原创 Java8 modern java in action 面向函数编程 流处理 拯救java 拯救自己
待续,不知道为什么用满大人作为封面:。。。java8大变化写在前面的话,java为什么要变化写在前面的话,java8 之所以发生变化,一是外部原因,我们称之为气候的变化:计算机硬件的改变,从单核cpu到多核cpu变化。二是内部竞争,因为伴随大数据时代到来,起来很多新兴语言,诸如scala,这些语言能更好的适应大数据开发,所以java也必须拥抱变化。从另外一种意义上来说,java 8的变...
2019-09-21 23:40:00
477
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人