要记得输出！

原创 Spark集群三种部署模式的区别

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduce，公用一...

转载 用JsonParser解析json树模型

https://blog.csdn.net/u010502101/article/details/80550167略有修改，User-Agent为需求字段解析json字符串可以像解析DOM一样，解析每一个节点。Gson的jar包中提供了JsonParser类，专门用于解析json字符串的，注意只是json节点的内容解析出来，并不像前两节把整个json字符串反序列化为一个对象。 public class Demo { public static void main(String[] args

原创 （六）一文掌握flink性能优化：flinksql调优

系列文章目录第一章 资源配置调优第二章 状态及Checkpoint 调优第三章 反压处理第四章 数据倾斜第五章 job优化第六章 flinksql调优第七章 常见故障排查文章目录6.1 设置 空闲状态保留时间6.2 开启 MiniBatch6.3 开启 LocalGlobal6.4 开启 Split Distinct6.5 多维 DISTINCT 使用Filter6.6设置参数总结FlinkSQL官网配置参数：https://nightlies.apache.org/flink/fli

转载 IDEA生成patch和使用patch

工作中用到的补丁大致可以分为两种，一种是patch文件，即补丁文件拿过来利用某些命令将这个补丁打入当前代码中，另外一种是修改前和修改后的文件对比包，这个对比包可以让我们快速查看到修改点的同时看到修改的上下文。这里如何用IDEA来生成patch和使用patch。 生成Patch 这里直接上图看的直观点： 、 使用Patch 一样直接上图，如下图： 最后也可以用git生成patch，详情见这篇文章：git 生成patch和使用pa.

原创 Flink各种提交作业方式的区别

文章目录前言一、Flink Session 集群二、Flink Job 集群三、Flink Application 集群前言Flink 应用程序的作业可以被提交到长期运行的 Flink Session 集群、专用的 Flink Job 集群 或 Flink Application 集群。这些选项之间的差异主要与集群的生命周期和资源隔离保证有关。一、Flink Session 集群集群生命周期：在 Flink Session 集群中，客户端连接到一个预先存在的、长期运行的集群，该集群可以接受多个

转载 Flink on YARN（下）：常见问题与排查思路

简介： 上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程，本文将根据社区大群反馈，解答客户端和 Flink Cluster 的常见问题，分享相关问题的排查思路。作者：杨弢（搏远）Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。上篇分享了基于 FLIP-.

原创 （一）一文掌握flink性能优化：资源配置调优

系列文章目录第一章 资源配置调优第二章 状态及Checkpoint 调优第三章 反压处理第四章 数据倾斜第五章 job优化第六章 flinksql调优第七章 常见故障排查本文目录前言一、内存设置1.TaskManager 内存模型及解释2.案例分析总结前言Flink性能调优的第一步，就是为任务分配 合适 的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。一、内存设置1.TaskManager 内存模型

转载 Flink on YARN（上）：一张图轻松掌握基础架构与启动流程

https://developer.aliyun.com/article/719262?spm=a2c6h.14164896.0.0.2cc632d1o13Sto

原创 kafka脚本操作

创建一个topic:topic:指的是话题, 主题的意思, 在消息发送的时候, 我们需要对消息进行分类, 生产者和消费者需要在同一个topic下, 才可以进行发送和接收 ./kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --replication-factor 1 --partit...

原创 dubbox的基本使用

8.1 dubbox的基本使用​ dubbox官方推荐使用zookeeper作为dubbox的注册中心, 负责服务地址的注册与查找,服务提供者和消费者只在启动时与注册中心交互，注册中心不转发请求，压力较小。需注意, dubbox并没有在maven的中央仓库中存在, 需要手动将Dubbox的jar包安装到我的本地仓库中。先将dubbo-2.8.4.jar包放到e:\setup, 然后输入命令...

原创 redis操作命令锦集

redis操作命令锦集本章节给大家规整一下redis中常用的操作命令redis中五种数据类型字符串 String ----重点特点: 存储所有的字符和字符串应用场景: 做缓存使用哈希 hash特点: 相当于java中hashMap集合应用场景: 可以存储javaBean对象, 此种使用场景不多,可被String替代list集合特点: ...

原创 solr的集群部署及dubbox基本使用

娱乐头条_search_solrCLoudsolr的集群什么是solrCLoud: 什么时候需要使用solrCloudsolrCloud的结构 :solrCloud集群的数据的读取和分裂的流程solrCloud的部署 : 能够参考文档搭建成功zookeeper集群solrCLoud的集群solrCloud的管理命令 : 将其记录好, 用的时候打开复制使用solr...

原创 solrConfig配置文件详解(4.10.x版本)

solrConfig配置文件详解(4.10.x版本)solrconfig.xml 配置文件主要定义了 solr 的一些处理规则，包括索引数据的存放 位置，更新，删除，查询的一些规则配置。1.1.datadir 节点<dataDir>${solr.data.dir:d:/Server/Solr/data}</dataDir> 定义了索引数据和日 志文件的存放位置1....

原创 java爬虫部署linux

娱乐头条 — 爬虫部署本爬虫进行部署 : 部署的基本流程, maven的jar项目应该如何打包处理分布式爬虫的开发和部署 :扩展: 爬虫的攻防技术: 能够拿自己的话说出来, 主要是为了面试扩展: 代理ip的技术1. 单机版爬虫部署1.1 部署准备工作:准备一台可以联网并且安装了redis、jdk1.8、mysql的虚拟机如果redis是单独放置了一台服务器, 那么...

原创 Vim命令合集

命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim在命令行窗口中输入以下命令即可vim 直接启动vimvim filename 打开vim并创建名为filename的文件文件命令打开单个文件vim file同时打开多个文件vim file1 file2 file3 …在vim窗口中打开一个新文件:open file在新窗...

原创 Linux各目录及每个目录的详细介绍

Linux各目录及每个目录的详细介绍【常见目录说明】±------------±----------------------------------------------------------------------------------------------------------------------------------------------------------+| ...

原创 linux安装软件常用命令

Linux的概述：学习Linux之前先了解UnixUnix是一个强大的多用户、多任务操作系统。于1969年在AT&T的贝尔实验室开发。UNIX的商标权由国际开放标准组织（The Open Group）所拥有。UNIX操作系统是商业版，需要收费，价格比Microsoft Windows正版要贵一些。Linux的概述：Linux是基于Unix的Linux是一种自由和开放源码的操作系统...

原创 github图文使用教程

Github地址：https://github.com/zhwangke/git-tutorial由简入繁，包括git github TortoiseGit idea中的使用。

原创 Java爬虫实践

Java_spider_实战爬虫的执行流程: 1) 确定首页url 2) 发送请求, 获取数据 3) 解析数据 4) 保存数据爬虫的三大核心模块:发送请求获取数据 : httpClient获取httpClient对象:创建请求方式的对象设置请求参数, 请求头发送请求, 获取响应对象获取数据:释放资源解析数据 :...

原创 redis环境搭建和jedis客户端工具

1. 什么是redisredis的是一个内存数据库, 由C语言编写, 数据以key-value的形式来存储2. redis的特点1)redis由于是将数据存储在内存中, 故其读取的数据非常快, 每秒钟支持大约 80000次/s的写入操作和 110000次/s读的操作2)redis提供了丰富的数据类型, 其有 string list hash set sortedSet 五种类型需...

原创 nginx环境搭建反向代理和负载均衡

1 什么是nginx​ Nginx是一款高性能的http 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。由俄罗斯的程序设计师Igor Sysoev所开发，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行非常稳定。2 为什么要使用nginx1)http服务器。Nginx是一个http服务可以独立提供http服务。可以做网页静态服务器。静...

原创 ssm三大框架整合

1.搭建整合环境1.1整合的思路先搭建整合的环境先把Spring的配置搭建完成再使用Spring整合SpringMVC框架最后使用Spring整合MyBatis框架1.2创建数据库和表结构create database springmvc;use springmvc;create table account( id int primary key auto_incre...

原创 idea自定义模板

原创 (4)Spring框架AOP

学习spring中的AOP要明确的事a、开发阶段（我们做的） 编写核心业务代码（开发主线）：大部分程序员来做，要求熟悉业务需求。 把公用代码抽取出来，制作成通知（日志、事务、权限）。开发阶段最后再做。编写日志、事务、权限的配置，在spring配置文件中，声明切入点与通知间的关系，即切面即可。b、运行阶段（Spring框架完成的） Spring框架监控切入点方法的执行。一旦监控到切入点方法被运行...

原创 (3)Spring基于注解的IOC配置以及注解配置依赖注入 DI

注解配置-控制反转IOC------->用来创建对象学习基于注解的IoC配置，首先得有一个认知，即注解配置和xml配置要实现的功能都是一样的，都是要降低程序间的耦合。只是配置的形式不一样。曾经XML的配置：<bean id="accountService" class="com.service.impl.AccountServiceImpl" scope="" init-...

原创 (2)Spring的依赖注入（DI）

依赖注入：Dependency Injection。它是spring框架核心ioc的具体实现。 我们的程序在编写时，通过控制反转，把对象的创建交给了spring，但是代码中不可能出现没有依赖的情况。ioc解耦只是降低他们的依赖关系，但不会消除。例如：我们的业务层仍会调用持久层的方法。public class AccountServiceImpl implements AccountServic...

原创 (1)Spring中基于XML的IOC配置

我们在开发中，有些依赖关系是必须的，有些依赖关系可以通过优化代码来解除的。 请看下面的示例代码：原来： 我们在获取对象时，都是采用new的方式。是主动的/** * 账户的业务层实现类 */ public class AccountServiceImpl implements AccountService{ private AccountDao accountDao = new A...

原创 idea开发Maven项目

1. 基础环境安装1.1 JDK 下载及环境变量配置在官网上，根据自己的系统配置（32/64位）选择相应的版本进行下载（附：下载地址）。下载完成后安装到自己喜欢的目录下安装完成后，我们进行环境变量配置。按该步骤进行操作：电脑 -> 属性 -> 高级系统设置 -> 环境变量 -> 系统变量 ->新建。在对应输入框内填入以下内容：1.2 Maven下载并配置环境变量...

原创 Tomcat闪退之The JRE_HOME environment variable is not defined correctly This environment variable isnee

在win10上明明已经安装了JDK1.7并设置好了JAVA_HOME和JRE_HOME，可偏偏Tomcat在启动过程中找不到并且在启动startup.bat时闪退。下来在DOS命令窗口运行startup.bat,此时提示报错信息如下：The JRE_HOME environment variable is not defined correctlyThis environment varia...

原创 JDBC的API详解DriverManager、Connection、Statement、ResultSet

1.JDBC的API详解之DriverManager1.1作用一：注册驱动这个方法可以完成驱动的注册，但是实际开发中一般不会使用这个方法完成驱动的注册！！！原因：如果需要注册驱动，就会使用DriverManager.registerDriver(new Driver());，但是查看源代码发现，在代码中有一段静态代码块，静态代码块已经调用了注册驱动的方法如果再手动调用该方法注册驱动，就...

原创 为什么要学习JDBC?

1.什么是JDBC?2 .什么是数据库驱动：驱动：两个设备（应用）之间通信的桥梁。3.为什么学习JDBC没有JDBC的时候，如果现在要开发一套系统，使用Java连接MySQL数据库，那么这时候Java程序员需要了解MySQL驱动API，如果使用Java连接Oracle数据库，那么这个时候Java程序员需要了解Oracle数据库驱动API。SUN公司提供一套统一的规范（接口）。然后各个数据库...

原创 mySQL数据库子查询总结及多表查询规律

1.确定

原创 Windows重置MySQL的密码

第一步：停止MySQL的服务第二步：在cmd下启动MySQL服务第三步：重新开启cmd的命令行是登录MySQL，不需要输入密码第四步：修改root的密码 第五步：结束mysqld的进程第六步：重新启动MySQL的服务...

原创 mySQL数据库中插入中文记录会出现错误！！！

1.中文产生乱码的原因总结：编码不一致导致的问题2.解决方法查看数据库中与字符集相关参数。 show variables like '%character%'; ２. 找到MySQL的安装路径：my.ini文件，修改文件中[client]下的字符集。３. 需要将MySQL数据库服务器中的客户端部分的字符集改为gbk。...

原创 Java基础之自增自减和三元运算符

Java中的常用运算符主要有：算术运算符、赋值运算符、关系运算符、逻辑运算符、自增自减运算符、三元运算符。算术运算符中：整数相除只能得到整数，要想得到小数，就必须有一个浮点数参与运算。主要记录一下自增自减运算符和三元运算符的使用和注意事项。1.自增自减运算符A:自己为整体时无注意事项:int a = 1;a++;//2++a;//2a--;//0--a;//0System....

原创 Java基础之数据类型

Java的数据类型Java的类型转换一、JAVA的数据类型分为基本数据类型和引用类型：1.JAVA的基本数据类型可以用四个字来概括：四类八种四类八种整型byte，short，int，long浮点型float，double字符型char布尔型boolean2.JAVA的引用数据类型：包括但不局限于类、接口、方法等。实际的开发中，引用数据类型...

原创 python占位符%s和format()方法

TOC两种占位符的区别%s永远起作用，它会把任何数据类型转换为字符串：&gt;&gt;&gt; 'Age: %s. Gender: %s' % (25, True)'Age: 25. Gender: True'使用字符串的format()方法，它会用传入的参数依次替换字符串内的占位符{0}、{1}……，不过这种方式写起来比%要麻烦得多在这里插入代码片：&gt;&gt;&gt; 'He...