临地-CSDN博客

原创 java spark-streaming java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRD

再次吐槽，spark的文档对初学者真的非常不友好。同时下面的错误大概率也是可以解决掉的。java.io.IOException: 远程主机强迫关闭了一个现有的连接问题描述在本地idea执行spark streaming相关代码时，setMaster为“local[2]”时，我是可以正常执行的，但是当我在 StandAlone 模式下启动本地集群的 setMaster 时，就会出现这个错误。然后我分别根据不同的搜索结果，设置jars等，甚至看到官网关于此问题的两个issueht

2021-08-11 17:46:17 520 1

原创 spark-streaming:Unable to create executor due to java.io.FileNotFoundException: java.io.FileNotFound

Master为“local[2]”时，这是正常的。但是当我在 StandAlone 模式下启动本地集群的 setMaster 时，出现错误： lost an executor 2 (already removed): Unable to create executor due to java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home解决方法：下载并且设计HADOOP_H

2021-08-11 17:35:21 512

原创 spark - Initial job has not accepted any resources...没有接受到数据

1.表现与原因表现为将spark streaming提交到集群时（setMaster()），没有接受到任何数据，并打印Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources原因为集群没有资源执行job，基本是因为只启动了msater，没有启动work2.解决方法启动work即

2021-08-05 11:04:01 788

原创 Junit单元测试多线程中子线程无法查询主线程的数据

目录1.表现2.原因3.解决方法1.表现在单元测试中，开启了事务，并且在主线程中进行数据库操作，然而开了多线程处理后，子线程无法获取主线程的数据。举个例子，在主线程中insert了几条记录，然后在子线程中查询会发现查询不到//代码只是随手例子，并不能真实执行pubic void mainThread(){//主线程插入数据insert(id);//子线程删除new Thread(() -> deleteById(id)).start();//期望结果是子线程成

2021-08-04 20:11:51 966

原创 leetcode-45-跳跃游戏

先放完整代码//给你一个非负整数数组 nums ，你最初位于数组的第一个位置。 //// 数组中的每个元素代表你在该位置可以跳跃的最大长度。 //// 你的目标是使用最少的跳跃次数到达数组的最后一个位置。 //// 假设你总是可以到达数组的最后一个位置。 //// //// 示例 1: //// //输入: nums = [2,3,1,1,4]//输出: 2//解释: 跳到最后一个位置的最小跳跃数是 2。// 从下标为 0 跳到下标为 1 的位置，跳1步，然...

2021-07-28 21:50:20 228

原创 leetcode1130 - 子数组异或查询

class Solution { public int[] xorQueries(int[] arr, int[][] queries) { /*int[] result = new int[queries.length]; for (int i = 0; i < queries.length; i++) { int l = queries[i][0]; int r = queries[i][1]; .

2021-05-07 21:20:40 68

原创新项目找不到或无法加载主类Application一站式解决

常见解决方法略过clean install顺序点击clean 和 install后可正常执行缺点是以后变更代码每次都需要clean 和 install才可以原因是缺少iml文件，导致每次启动都没有build所以生成iml文件即可：mvn idea:module...

2021-01-23 13:42:04 1309

原创 sharding-jdbc分表查询优化：maxConnectionsSizePerQuery

sharding-jdbc配置maxConnectionsSizePerQuery作用设置每个查询最大获取的连接数，同时影响结果归并方式最大连接数简单来说就是当存在分表，且查询语句不包含分表键时，每个查询都需要分解成不同的分表sql查询数据库，能够同时执行的sql数量由此参数设置；举个例子，假如maxConnectionsSizePerQuery = 128，分表有1024个则在一般情况下（线程池资源充足）：一个查询sql（不包含分表键）将拆分成1024个，但是maxConnectionsSiz

2021-01-23 11:31:06 2963

原创 rabbitmq多数据源

mq多数据源核心依赖  <dependency> <groupId>com.mytaxi.spring.multirabbit</groupId> <artifactId>spring-multirabbit-lib</artifactId> <version>2.2.0</versi

2020-10-24 16:09:24 750 1

原创 Python Command “python setup.py egg_info“ failed with error code 1 in C:\Users\zhenjie.xuan\AppData\

原因是install模块在对应数据源没有找到适合本地python版本的文件，可以考虑install的适合换一个数据源目前来讲阿里的镜像是更新比较快，下载速度也比较快的命令如下：pip --default-timeout=100 install seaborn -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com...

2020-09-10 16:20:20 199

原创 Python报错pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool解决方法

原因是因为下载速度太慢了，几k的速度很拉跨，可以指定数据源，例如豆瓣的镜像，10m左右的速度直接起飞pip --default-timeout=100 install 库名称 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 或换成下面的国内镜像网站。清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：http://mirrors.aliyun.com/pypi/sim.

2020-09-10 16:10:08 616

原创线程池执行前后进行额外操作

实际上就是继承ThreadPoolExecutor类，然后重写beforeExecute和afterExecute方法public class ThreadPoolBefore extends ThreadPoolExecutor { public ThreadPoolBefore(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable&g.

2020-06-29 16:36:03 248

原创 mysql存储结构以及索引树简述（基于InnoDB）

1.序言本文主要讲述mysql的存储结构，包括主键索引、二级索引、

2020-06-29 16:23:14 375

原创 mysql事务隔离级别（基于InnoDB）

1. 序言本文记录了InnoDB的四种隔离级别和不同隔离级别之下，并在不同的隔离级别之下实际运行mysql，看看不同的隔离级别会带来的问题。2. 一些名词autocommit: mysql5.7默认开启，每一个session就是一个只包含自己的事务，只要sql没有报错就会自动提交，报错时是否提交取决于error本身。commit：commit意味着session提交，变更就可以被其他session看见，并释放锁；rollback：rollback取消session的所有变更，并释放锁；.

2020-06-26 00:45:36 145

原创 ConcurrentHashMap误解（分段锁）和补充（什么情况下会裂变成红黑树，以及为什么）

1.序言网上很多ConcurrentHashMap分析的文章都在讲使用了分段锁balabala怎么样怎么样使得它是线程安全的，这些文章一些是过时的，也有一些是不够详细的，所以记录一下最近对ConcurrentHashMap的学习记录2.误解网上对ConcurrentHashMap的说法还停留在分段锁上，这不能说是错的，只是过时了，jdk1.8之后，ConcurrentHashMap就不是分段锁了，而是使用synchronized锁住了对应桶节点，而且是只有put和remove的时候才会上锁，g

2020-06-24 18:01:44 534

原创 i++ 和++i（为萌新时期的疑惑填坑）

今天突然想起以前有过的一个疑惑，找了很多文章都是黏贴复制，糊里糊涂的，今天填一下坑。先摆出结果： int k = 1; int before = ++k; System.out.println("before: "+before + " K: "+k); k = 1; int after = k++; System.out.println("after: "+after + " K: "+k);

2020-06-24 17:27:53 373

原创 Java调用python（通过socket调用传参并获取结果）

python通过socket等待java程序连接，传参，并通过socket回传结果附：运行python文件python代码如下#encoding=UTF-8import socketimport sysimport threadingdef main(): # 创建服务器套接字 serversocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 获取本地主机名称 host = so

2020-06-24 17:16:20 918 1

原创对象转化为JSONOject

经常忘记，各种花里胡哨转化，记录一下简单快捷的正确方式JSONObject.parseObject(JSON.toJSONString(object))

2020-06-22 17:53:47 826

原创 java.lang.NullPointerException: element cannot be mapped to a null key

该报错是使用Stream的groupingBy方法，key为null导致的，可以加一个filter过滤null值，或加个try catch以免影响主流程nested exception is java.lang.NullPointerException: element cannot be mapped to a null key at org.springframework.kafka.listener.adapter.MessagingMessageListenerAdapter.invoke.

2020-06-17 19:24:32 8081

原创线程池、参数和常见线程池

本文将讲解线程池参数、参数之间的关系以及线程池以一个怎么样的策略执行新增到线程池的线程，最后会举例常见的线程池是怎么样应用这些参数和流程的。文章较长，可以根据目录选择想看的知识，若有错误请指出。1.线程池概述线程池，顾名思义就是一个装线程的池子，池子里的线程可以重复理用，降低产生和销毁线程的开销。举个例子，没有线程池使用线程的时候，就像开水龙头洗手，每次洗手都需要开水龙头，洗完手水就会流进下水道。而线程池就像在水盆洗手，每次洗手只需要重复理用水盆的水就好了（手太脏的当我没说）。2.线程池参数

2020-06-12 18:24:00 254

原创 java Calendar 获取时间戳对应的星期几和今天对应的星期几

/** *获取今天是星期几 * @return */ public static Integer getDayOfWeek(){ Calendar calendar = Calendar.getInstance(); return calendar.get(DAY_OF_WEEK) - 1; } /** * 获取指定时间戳是星期几 * @param time * @return .

2020-05-28 18:29:10 1988

原创 leetcode 28 :strStr

class Solution { public int strStr(String haystack, String needle) { if(needle == null || needle.length() <= 0){ return 0; } int hlen = haystack.length(); int nlen = needle.length(); if(hlen < .

2020-05-28 18:27:52 80

原创 Java 中 E T K V Object含义和作用

除了Object，都是泛型的表示方法，可以匹配对应的类型E – Element (在集合中使用，因为集合中存放的是元素)T – Type（Java 类）K – Key（键，例如Map<K,String>,表示键类型不确定的map）V – Value（值，与键相对应）N – Number（数值类型）Object是所有类的根类，即父类，作用效果与一般的父子类相...

2020-05-08 11:21:35 321

原创 cannot access org.springframework.context.ConfigurableApplicationContext 和启动报错误: 找不到或无法加载主类 org.spr

idea导入项目特别容易报这个错，原因是一个项目下多个module，存在多个iml导致的删除iml，刷新maven就好

2020-04-26 14:07:41 654

转载 Idea自动注释

原文链接：https://blog.csdn.net/qq_34581118/article/details/78409782

2019-05-23 01:10:03 218

原创 window10下远程连接redis-server（centos）

1.配置server，更改redis-conf文件 1.1 bind 127.0.0.1 更改为 bind 0.0.0.0 1.2protected-mode no 改为 yes 1.3 防火墙开启6379补充：测试远程6379端口命令：回车后一片空白为成功ps.网上谣传注解 1.1 处是错误的...

2019-05-09 19:20:12 2086

转载 MySql常用命令

第一招、mysql服务的启动和停止 net stop mysql net start mysql第二招、登陆mysql 语法如下： mysql -u用户名 -p用户密码键入命令mysql -uroot -p，回车后提示你输入密码，输入12345，然后回车即可进入到mysql中了，mysql的提示符是：mysql>注意，如果是连接到另外的机器上，...

2018-12-28 16:38:14 94

原创包含min函数的栈（O（1）实现）

import java.util.Stack;public class Solution { private Stack<Integer> myStack=new Stack(); private Stack<Integer> minStack=new Stack(); private int min; public void pus...

2018-11-20 22:25:07 123

原创巨坑：The server time zone value '???ú±ê×??±??' is unrecognized or represents more than one time zone.

mysql版本：8.0原因：无法识别时区解决方法：设置默认时区1.在url后面加入?serverTimezone=UTC"; 区分大小写：String url="jdbc:mysql://localhost:3306/test?serverTimezone=UTC"; 2.在mysql设置时区：set global time_zone='+8:00' ...

2018-10-26 17:44:26 163

原创 Java中@ - 注解

一、什么是java注解注解，顾名思义，注解,就是对某一事物进行添加注释说明，会存放一些信息，这些信息可能对以后某个时段来说是很有用处的。Java注解又叫java标注，java提供了一套机制，使得我们可以对方法、类、参数、包、域以及变量等添加标准(即附上某些信息)。且在以后某个时段通过反射将标注的信息提取出来以供使用。二、自定义Java标注1为什么要自...

2018-10-18 18:36:20 53755 11

原创 mysql安装以及环境变量设置

（一部分图片来源于网络）1.下载下载地址：mysql下载地址1.1.选择community，我下载的是社区的社区版本，见红色方框 1.2.下载并解压后，配置环境变量，mysql_home然后在path加入解压路径之中bin的路径ps：path里添加：%MYSQL_HOME%\bin; 1.3.这里有两种做法，个人感觉第二种好一点（1...

2018-10-17 19:48:33 1529

原创 java - 抓取博客内容（第一个小爬虫）

package Sept;import java.io.BufferedReader;import java.io.File;import java.io.FileWriter;import java.io.IOException;import java.io.InputStreamReader;import java.net.URL;import java.net.URLCon...

2018-09-17 19:14:10 209

原创顺时针打印矩阵 - 牛客剑指offer

题目描述输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下4 X 4矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10.解题思路：画图就会发现只需要一个外层循环，四个内循环解决；稍微有一点麻烦的是边界处理，不过画图一下就好了...

2018-08-14 00:52:24 141

原创二叉树的镜像问题 - 牛客剑指offer

题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7 5...

2018-07-29 23:13:44 121

原创树的子结构 - 牛客网剑指offer

题目描述输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）注意：一般遍历树都会采用递归，递归的边界问题比较容易处理；public class Solution { public boolean HasSubtree(TreeNode root1,TreeNode root2) { if(root2==null|...

2018-07-21 00:25:34 101

原创 HDU - 2067 小兔的棋盘

题目：小兔的叔叔从外面旅游回来给她带来了一个礼物，小兔高兴地跑回自己的房间，拆开一看是一个棋盘，小兔有所失望。不过没过几天发现了棋盘的好玩之处。从起点(0，0)走到终点(n,n)的最短路径数是C(2n,n),现在小兔又想如果不穿越对角线(但可接触对角线上的格点)，这样的路径数有多少?小兔想了很长时间都没想出来，现在想请你帮助小兔解决这个问题，对于你来说应该不难吧! ...

2018-07-20 21:43:22 217

转载卡特兰数的应用场景以及分析

原文链接应用1描述：n对括号有多少种匹配方式？思路：n对括号相当于有2n个符号，n个左括号、n个右括号，可以设问题的解为f(2n)。第0个符号肯定为左括号，与之匹配的右括号必须为第2i+1字符。因为如果是第2i个字符，那么第0个字符与第2i个字符间包含奇数个字符，而奇数个字符是无法构成匹配的。通过简单分析，f(2n)可以转化如下的递推式 f(2n) = f...

2018-07-20 21:33:21 353

原创合并两个排序的链表 - 牛客剑指offer

题目描述输入两个单调递增的链表，输出两个链表合成后的链表，当然我们需要合成后的链表满足单调不减规则。注意链表是引用，返回的是头指针就好了；/*public class ListNode { int val; ListNode next = null; ListNode(int val) { this.val = val; }}*/public...

2018-07-11 23:12:15 135

原创反转链表 - 牛客剑指offer（n）

题目描述输入一个链表，反转链表后，输出新链表的表头。思路：这道题只需要解决：保持head持续往下的同时，记录head的前一个节点；所以用一个pre存储前一个节点，next存储下一个节点，画个图就很容易理解；public class Solution { public ListNode ReverseList(ListNode head) { if(head==null) ...

2018-07-10 23:27:07 139

原创链表中倒数第k个结点 - 牛客剑指offer 13

题目描述输入一个链表，输出该链表中倒数第k个结点。思路：这道题应该注意边界问题，解决的话其实很简单。但是考察的是鲁棒性，这方面没有研究...但是感觉自己写的问题应该不大吧；首先定义两个node，a和b，a一开始遍历，直到a遍历到k-1个节点，b开始遍历；也就是说a比b领先k-1个点；所以当a到了末尾的时候，b就是倒数第k个点；/*public class ListNode { int v...

2018-07-09 23:48:24 103