- 博客(107)
- 收藏
- 关注
RSS订阅转载 算子的分类和 宽依赖算子、窄依赖算子
一、转换算子转换算子：Transformation，懒执行，需要Action触发执行filter过滤 RDD[T]==>RDD[T],窄依赖mapRDD[T] ->RDD[O], 窄依赖flatMapRDD[T]–>RDD[[O]],一对多 ，窄依赖,mapToPairsample抽样算子 RDD[T]–>RDD[O],窄依赖sortByRDD...
2019-09-27 11:28:00
2021
转载 单元测试junit使用
1.maven依赖<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope...
2019-09-24 19:07:00
205
转载 spark1.x和spark2.x兼容Iterable和Iterator问题
1. spark1.x 升级到spark2.x对于普通的spark来说,变动不大 :举一个最简单的实例:spark1.x 1 public static JavaRDD<String> workJob(JavaRDD<String> spark1Rdd) { 2 3 JavaPairRDD<Stri...
2019-09-19 14:33:00
293
转载 crontab定时器安装与用法
crontab命令常见于Unix和Linux的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。通常，crontab储存的指令被守护进程激活。crond 常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类作业一般称为cron jobs。一、安装[root@CentOS ~]# yum -...
2019-08-27 15:32:00
340
转载 spark调优
博客来源：https://blog.csdn.net/yhb315279058/article/details/50466125问题1：reduce task数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务...
2019-08-16 09:56:00
92
转载 spark-submit参数配置
num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建...
2019-08-14 15:21:00
179
转载 spark遇到的问题（持续更新）
1.DataFrame使用unionAll算子java.util.concurrent.ExecutionException: org.apache.spark.sql.AnalysisException: Union can only be performed on tables with the same number of columns, but the left table...
2019-07-18 14:22:00
1059
转载 hikari参数配置
HikariCP配置说明：参数 描述 默认值 其他autoCommit 自动提交从池中返回的连接 true -connectionTimeout 等待来自池的连接的最大毫秒数 30000 如果小于250毫秒，则被重置回30秒idleTimeout 连接允许在池中闲置的最长时间 600000 如果idleTimeout+1秒>maxLifetime 且 maxLifetime&g...
2019-07-15 15:00:00
1577
转载 java 开发遇到的问题
java 开发遇到的问题（持续更新）1.问题：jdbc从数据库读取到的时间与数据库时间不一致.数据库表内记录的时间：2019-07-05 08:00:00jdbc:getDate(resultSet,1),方法获取到的时间：2019-07-05 17:00:00解决方法：在jdbc连接的url手动添加中国时区标识：jdbc:mysq...
2019-07-05 10:04:00
95
转载 SpringBoot学习遇到的问题（持续更新）
1.问题：### Cause: com.microsoft.sqlserver.jdbc.SQLServerException: 必须声明表变量 "@P0"。; uncategorized SQLException; SQL state [S0001]; error code [1087]; 必须声明表变量 "@P0"。; nested exception is com.micr...
2019-04-09 15:00:00
225
转载 Spring Cloud底层原理
目录一、业务场景介绍二、Spring Cloud核心组件：Eureka三、Spring Cloud核心组件：Feign四、Spring Cloud核心组件：Ribbon五、Spring Cloud核心组件：Hystrix六、Spring Cloud核心组件：Zuul七、总结概述毫无疑问，Spring Cloud是目前微服务架构领域的翘楚，无数的...
2019-03-07 16:55:00
88
转载 Timer和TimerTask定时器使用
Timer是一种定时器工具，用来在一个后台线程计划执行指定任务。它可以计划执行一个任务一次或反复多次。 TimerTask一个抽象类，它的子类代表一个可以被Timer计划的任务。具体的任务在TimerTask中run接口中实现。 通过Timer中的schedule方法启动定时任务。一、运行定时器启动一个定时器实质是启动一个线程 1、在指定日期运行定时器任务，只运行一次publ...
2019-02-20 12:11:00
108
转载 Java消息队列
链接：https://zhuanlan.zhihu.com/p/57055360面试题为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？面试官心理分析其实面试官主要是想看看：第一，你知不知道你们系统里为什么要用消息队列这个东西？不少候选人，说自...
2019-02-19 10:28:00
118
转载 MySQL开发规范
MySQL开发规范转载于：https://blog.csdn.net/bjpowernode_com/article/details/86299552一、基础规范1） 使用InnoDB存储引擎2） 数据库字符集使用UTF8，校对字符集使用utf8_general_ci3） 所有表、字段都尽量添加注释4） 库名、表名、字段名使用小写字母，...
2019-01-21 18:26:00
80
转载 IM_网易云信开发
IM_网易云信开发一、项目目标本项目完全依赖于第三方IM服务器网易云信进行IM开发。网易云信(wyyx)能够满足产品基本所有的需求，本项目将所有的IM功能放到wyyx服务器上，本项目服务器需要将所有的聊天信息进行备份，及对用户聊天权限进行设置。二、功能实现：1、备份：使用wyyx的“消息抄送”功能，对所有的消息进行本地数据库备份2、权限：使用wyyx的“第三方回调...
2019-01-09 17:24:00
588
转载 linux 常用命令行（持续更新）
linux 常用命令行（持续更新）1、使用pid查询端口号sudo netstat -antup|grep PID号2、查询端口号所有情况sudo netstat -antup 3、启动、重启、关闭tomcat服务器，若没有权限则加sudoservice tomcat6 startservice tomcat6 restartservice tomca...
2019-01-03 16:50:00
105
转载 SSM学习遇到的问题（持续更新）
SSM学习遇到的问题（持续更新）1.问题：使用ajax提交get请求总是返回error解决方法：返回格式不正确，dataType如果为json，则需要后台返回的是json值。2.问题：无法找到bean：org.springframework.beans.factory.BeanCreationException: Error creating bean with name...
2019-01-03 16:23:00
202
转载 java 编译异常及其解决办法（持续更新）
java 编译异常及其解决办法（持续更新）1.解决办法：将jar版本降低适配 低版本的jdk或tomcat 1 严重: ContainerBase.addChild: start: 2 org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina]...
2018-12-26 10:46:00
268
转载 netty学习路线（转载）
netty学习路线（转载）转载于https://www.cnblogs.com/snifferhu/p/7337425.html目前作为学习路线。Netty学习路线总结序之前开过品味性能系列、Mysql学习系列，颇为曲高和寡。都是讲理论，很少有手把手深入浅出的文章。不过确实我就这脾气，文雅点的说法叫做“伪雅”，下里巴人叫做“装逼”。学习资料本篇文章，打算总...
2018-12-25 20:14:00
160
转载 netty4.1.32学习（持续更新）
netty4.1.32学习官方api：https://netty.io/4.1/api/index.htmlNetty 实战(精髓)：https://waylau.gitbooks.io/essential-netty-in-action/一、简单介绍本文是根据李林峰书籍《Netty权威指南》（第2版）总结而来。二、Netty简介Netty是一个高性能、异步...
2018-12-24 17:47:00
180
转载 MySQL 对于千万级的大表要怎么优化
MySQL 对于千万级的大表要怎么优化转载于：https://www.zhihu.com/question/19719997/answer/549041957# 问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。...
2018-12-14 19:51:00
80
转载 Mysql常用指令
Mysql常用指令一、mysql常用指令1.创建数据库2.创建数据表（含主键、索引、唯一索引）3.建好表增加索引4.插入记录 insert into5.删除记录 delete 6.修改记录 update7.查询记录 select8.查询没有再添加，有则修改：replace into二、具体操作（待完善）1.创建数据库creat...
2018-12-13 19:01:00
74
转载 经典java面试题（详细）
经典Java面试题收集（一）转载于：https://www.jianshu.com/p/c01eb6e46226categories: Interviewdescription: 本文收集了一些经典的Java面试题1、面向对象的特征有哪些方面？抽象：将同类对象的共同特征提取出来构造类。继承：基于基类创建新类。封装：将数据隐藏起来，对数据的访问只能通...
2018-12-04 17:52:00
144
转载 【实践】mysql数据库表设计及存储过程设计
mysql数据库表设计及存储过程设计一、目标 电话手表的数据库表设计，以及为了服务器与数据库后台分离进行存储过程设计。二、数据库表设计 基本的数据表设计，设备信息表（手表）、APP用户个人信息表、设备登录状态表、经纬度位置表、消息表（可进行聊天）、指令表（用来记录app对设备的操作等）、验证码记录表、群组表、群成员表、意见表（意见反馈记录）、绑定表（设备与APP用户相...
2018-11-30 17:22:00
467
转载 mysql存储过程
mysql存储过程转载于:https://www.cnblogs.com/mark-chan/p/5384139.html存储过程简介SQL语句需要先编译然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。存储过程是可编程...
2018-11-30 16:08:00
95
转载 java学习路线与书籍推荐
java学习路线与书籍推荐转载于：https://www.zhihu.com/question/56110328/answer/527771456从入门javaSE到进阶javaEE书单推荐！！吐血整理！！（珍藏版）学习路线从入门到进阶：附技术书籍阅读方法论总结：前言：技术书阅读方法论一.速读一遍（最好在1~2天内完成）人的大脑记忆力有限，在一天内快速看...
2018-11-23 17:10:00
1140
转载 你真的懂wait、notify和notifyAll吗
你真的懂wait、notify和notifyAll吗转载于：https://www.jianshu.com/p/25e243850bd2?appinstall=0生产者消费者模型是我们学习多线程知识的一个经典案例，一个典型的生产者消费者模型如下： 1 public void produce() { 2 synchronized (this) {...
2018-10-19 15:18:00
75
转载 java中String对象的存储位置
java中String对象的存储位置转载注明出处：https://www.cnblogs.com/carsonwuu/p/9752949.html本次样例中使用6个test直接演示String对象的创建位置：堆、栈、常量池。 1 package test.string.equal; 2 3 public class Main { 4 5 ...
2018-10-08 10:30:00
110
转载 如何阅读Java源码
如何阅读Java源码 阅读java的真实体会文章来源：中国互联更新时间：2012-3-26 20:56:55转载于：https://www.hulian.top/zixun/post/4771.html源码阅读，最核心有三点：技术基础+强烈的求知欲+耐心。技术基础打个比方，如果你从来没有学过Java，或是任何一门编程语言如C++，一开始去啃《Core Ja...
2018-09-30 16:52:00
87
转载 Session概述（java）
JavaWeb Session转载于：https://www.cnblogs.com/aaron911/p/7889353.html1.Session概述1.1.什么是SessionSession一般译为会话，是解决Http协议的无状态问题的方案，可以将一次会话中的数据存储在服务器端的内存中，保证在下一次的会话中可以使用。在客户端浏览器第一次向服务器端发...
2018-09-28 17:46:00
733
转载 如何提高Mysql的查询效率
如何提高Mysql的查询效率转载于：https://www.cnblogs.com/itsharehome/p/6160780.html1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：se...
2018-09-18 16:15:00
66
转载 数据库容量和内存测算的一些想法
数据库容量和内存测算的一些想法参考于：http://blog.itpub.net/12679300/viewspace-1443818/参考于：http://blog.sina.com.cn/s/blog_1533f3fb90102wktx.html一、数据库容量估算总体来说数据库容量核心分析对象还是数据库表，以及围绕数据库表的视图、索引、日志等相关附属信息。汇总这些信...
2018-09-14 10:29:00
1260
转载 【转载】Java多线程，判断其他线程是否结束的三种方法
Java多线程，判断其他线程是否结束的三种方法参考与：https://www.cnblogs.com/will-shun/p/7392619.html参考于：https://www.cnblogs.com/aboutblank/p/3631453.html方法1：thread.Join把指定的线程加入到当前线程，可以将两个交替执行的线程合并为顺序执行的线程。比如...
2018-09-12 16:13:00
258
转载 java项目中读取jdbc.properties文件
java项目中读取jdbc.properties文件参考于：https://www.cnblogs.com/sebastian-tyd/p/7895182.htmltomcat下目录（resource已经build path，即实际线上yunxin.properties在WEB-INF\classes）：yunxin.properties文件内容1 appKey...
2018-09-07 11:30:00
326
转载 github子目录下载
github子目录下载工具：svn转载于：https://blog.csdn.net/YubaoLouisLiu/article/details/80525802下载我的LYBTouchID项目的Kit目录内容（1）在github上点开这个目录，浏览器地址栏可以得到这个地址https://github.com/Liuyubao/LYBTouchID/tree/maste...
2018-09-06 11:40:00
99
转载 【openfire集群】集群插件hazelcast配置
openfire集群插件hazelcast配置一、base：1、ubuntu16.042、jdk1.8.0_1813、openfire4.1.3二、openfire集群配置节点1:192.168.67.128节点1:192.168.67.132数据库：192.168.1.101:3306上文已经配置好openfire.本文将openfire添加到集群中...
2018-09-05 12:25:00
328
转载 【openfire】ubuntu上安装配置
一、安装JDK(1)、创建保存java的目录administrator@openfire:~$sudo mkdir /opt/jdk(2)下载jdk将jdk解压到 /opt/jdk中administrator@openfire:~$cd/opt/jdkadministrator@openfire:~opt/jdk$tar -zxvf jdk-8u181-...
2018-09-04 16:01:00
149
转载 【转载】聊天数据库表设计
web聊天类数据库功能表结构如何设计?转载：https://blog.csdn.net/u010098331/article/details/51493016/先mark，项目需要做一个即时通讯的软件，需要建立一个用户-好友-讨论组类型的表，在实际应用中用到的表结构再来记录。User(--用户表 字段 字段类型 字段描述 ...
2018-07-28 19:34:00
3102
转载 openfire插件删除
openfire插件删除openfire的扩展通常使用插件的形式，使用插件开发非常的方便。只需要继承plugins类即可。很多时候我们编写插件，有时候是为了测试（函数测试、功能点测试或是其他），在实际的项目中，我们并不需要这些插件，所以需要进行unload卸载。之前讲解多如何编写插件，并上传使用，这一篇是讲如何将不需要使用的插件进行卸载，源文件保留、jar卸载。需要...
2018-07-18 12:33:00
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人