自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

夜下探戈

Learn and live .

  • 博客(132)
  • 资源 (35)
  • 收藏
  • 关注

原创 迁移达梦数据库后,com.github.pagehelper.PageException: 无法自动获取数据库类型,请通过 helperDialect 参数指定

application.properties文件设置:##切换到达梦数据库下需要设置此参数,否则分页无效PageHelper.helperDialect=oracleapplication.yml文件设置:pagehelper:helperDialect: oracle## 以下内容可以不加reasonable: truesupportMethodsArguments: trueparams: count=countSql...

2022-04-20 16:25:09 2200

原创 spark2.4.2编译(mac系统下)

编译前所注意事项:首先,尽可能阅读官网编译文档 Building Apache Spark源码下载推荐git clone 或者 wget 。编译前确保网络良好。下载所需要的软件(注意版本)· Spark-2.4.2.tgz· Hadoop-2.7.6· Scala-2.11.12· jdk1.8.0_191· apache-maven-3.6.x· git注意:其中spark...

2019-05-02 00:14:38 323

原创 spark on yarn 运行报错 prelaunch.err.

错误代码如下:[2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :/hadoop/yarn/local/usercache/defu.du/appcache/application_1...

2019-03-28 17:55:21 4569 1

转载 Spark架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势:Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数

2018-04-25 15:46:10 453

原创 RDD使用

RDD操作RDD的创建方式RDD的两种操作算子RDD操作RDD的创建方式从Hadoop文件系统(或与Hadoop兼容的其他持久化存储系统,如Hive、Cassandra、HBase)输入(例如HDFS)创建。从父RDD转换得到新RDD。通过parallelize或makeRDD将单机数据创建为分布式RDD。 4.基于DB(Mysql)、NoSQL...

2018-04-25 15:44:16 401

原创 RDD原理

RDD概念RDD的内部属性一组分片(Partition),即数据集的基本组成单位计算每个分片的函数RDD之间的依赖关系一个Partitioner,即RDD的分片函数分区列表,存储存取每个Partition的优先位置(preferred location)可选属性可选属性RDD的特点RDD的优点RDD的存储与分区RDD的容错机制Spark计算工作流RDD编程模型...

2018-04-25 15:43:53 1168

原创 Spark架构及原理

开发角度原则一:避免创建重复的RDD原则二:尽可能用同一个RDD原则三:对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略 MEMORY_ONLYMEMORY_ONLY_SERMEMORY_AND_DISK_SER不考虑:DISK_ONLY和_2后缀原则四:尽量避免使用shuffle类算子 能不用就不用能不能用非shuffle类的算子去替代非shuffle类的j...

2018-04-25 15:43:23 286

原创 Scala实现乘法表

object HelloWorld { def main(args: Array[String]): Unit = { for (i <- 1 to 9) { for (j <- 1 to i){ print(j+"*"+i+"="+i*j+"\t") } println() } }}

2018-04-16 11:41:42 471

原创 HBase创建表已经存在,删除表又不存在的问题

清除Zookeeper内存数据库中的相关数据[root@node1]# zkCli.sh[zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, hadoop-ha, hbase][zk: localhost:2181(CONNECTED) 1] ls /hbase [replication, meta-region-server, rs...

2018-03-31 11:23:01 1547

原创 Hadoop HA 集群搭建

hadoop HA原理概述为什么会有 hadoop HA 机制呢?HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF:A Single Point of Failure)。对于只有一个 NameNode 的集群,如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级),那么整个集群将无法使用...

2018-03-24 19:03:19 336

原创 wordcount 求互为好友对

package com.Practice.SameFriend2;import com.Practice.SameFriend.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;imp...

2018-03-18 18:23:10 152

原创 wordcount 数据去重

package com.Practice.RemoveDupData;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;im...

2018-03-18 17:18:38 518

原创 wordcount 求学生平均成绩

package com.Practice.AverageScores;import com.Practice.SameFriend.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;i...

2018-03-18 16:54:47 997

原创 wordcount 学生成绩普通版

package com.Practice.StudentScores;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;imp...

2018-03-18 16:38:33 241

原创 hadoop wordcount求共同好友代码实现

package com.Practice.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;impor...

2018-03-16 22:18:00 377

原创 IDEA windows本地运行wordcount程序

第一步创建maven项目第二步创建WordCountDemo类package com.wordcountModel;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.ap...

2018-03-16 19:58:02 1951 17

转载 Error: recoverUnfinalizedSegments failed for required journal

一、问题描述HA按照规划配置好,启动后,NameNode不能正常启动。刚启动的时候 jps 看到了NameNode,但是隔了一两分钟,再看NameNode就不见了。但是测试之后,发现下面2种情况:1)先启动JournalNode,再启动Hdfs,NameNode可以启动并可以正常运行2)使用start-dfs.sh启动,众多服务都启动了,隔两分钟NameNode会退出,再次hado

2017-11-06 23:22:18 3018 1

原创 deepin下搭建基于github和hexo的个人博客

系统:Linux Deepin 15.4 x64搭建步骤:1、 安装git$ sudo apt-get install git查看git版本$ git version2、 安装Node.js及npm a. 可以直接命令安装,但是命令安装的不是最新版本。$ sudo apt-get install nodejs$ sudo apt-get install npmb. 本博客采用第二种方法,首先官网

2017-09-28 15:31:09 2559 2

转载 JavaEE软件开发体系架构

两层架构传统的客户服务器系统仅只简单地基于两层体系来构建,即客户端(前台)和企业信息系统(后台),没有任何中间件,业务逻辑层与表示层或数据层混在一起。这种两层架构无论从开发、部署、扩展、维护来说,综其只有一个特点——成本高。三层架构三层架构自上而下将系统分为表示层、逻辑层、持久层。 表示层由处理用户交互的客户端组件及其容器所组成; 业务逻辑层由解决业务问题的组件组成; 数据层由一个或多个数据库

2017-08-18 10:17:20 468

原创 Java实现乘法口诀

for (int i = 1; i < 10; i++) { for (int j = 1; j <= i; j++) { System.out.print(j+"x"+i+"="+j*i+"\t"); } System.out.println();}

2017-07-20 14:26:44 452

转载 mysql data文件夹下的ibdata1 文件作用

ibdata1是储存的格式,INNODB类型数据状态下,ibdata用来储存文件的数据,而库名的文件夹里面的那些表文件只是结构而已。由于mysql4.1默认试innodb,所以这个文件默认就存在了http://man.chinaunix.net/database/mysql/inonodb_zh/2.htm 这个链接试innodb的中文参考, innodb的东西可以在my.ini中设置

2017-03-14 14:24:21 5024

原创 免安装版MySQL的优化与配置

MySQL的安装版安装比较麻烦,卸载也比较麻烦。免安装版的好处在于一次配置,下次就可以重复使用了。免安装版最好到官网下载,这里下载的是5.5版本,下载地址:免安装版MySQL 5.5官方免安装版太大了,解压后有800多M,免安装解压下如下: 这里根据实际使用情况进行优化配置,对于使用过程中不涉及的部分进行删除。 原版本初始有5个配置文件,我们只需要一个配置文件就可以了,根据实际情况选择一个。

2017-03-14 14:21:26 350

原创 免安装版MySQL乱码(问号)问题解决方案

出现乱码一般都是因为编码不一致造成的。免安装版MySQL配置编码主要在于my.ini这个配置文件。 5.0以上版本修改方法: 修改my.ini 中的设置, 在[client]节点下添加 default-character-set=utf8 在[mysqld]节点下添加 character-set-server=utf8 collation-server=utf8_general

2017-03-14 13:40:17 632

转载 JBOSS 部署与性能调优

1.Jboss简介 JBoss是全世界开发者共同努力的成果,一个基于J2EE的开放源代码的应用服务器。 因为JBoss代码遵循LGPL许可,可以在任何商业应用中免费使用它,而不用支付费用。2006年,Jboss公司被Redhat公司收购。JBoss是一个管理EJB的容器和服务器,支持EJB 1.1、EJB 2.0和EJB3.0的规范。但JBoss核心服务不包括支持servlet/JSP的WEB容器

2017-03-09 15:15:22 355

原创 java调用bat文件判断系统是32还是64位,并设置环境变量

判断系统是32位还是64位的两种方法: 1 、通过调用系统环境变量%PROCESSOR_ARCHITECTURE% 的值 判断主要代码:if "%PROCESSOR_ARCHITECTURE%"=="x86" goto x86if "%PROCESSOR_ARCHITECTURE%"=="AMD64" goto x64exit:x64echo 当前系统是64位操作系统exit:x86

2017-03-07 19:17:17 1524

原创 bat批文件检测系统是x64还是x86

if "%PROCESSOR_ARCHITECTURE%"=="x86" goto x86if "%PROCESSOR_ARCHITECTURE%"=="AMD64" goto x64exit::如果是x64,打开百度:x64explorer.exe http://www.baidu.com/exit::如果是x86,打开新浪:x86explorer.exe http://www.s

2017-03-03 14:43:21 1334

原创 Java 关于System.getProperty

系统参数对应key:代码示例:public class SystemProperty { public static void main(String args[]) { System.out.println("java_vendor:" + System.getProperty("java.vendor")); System.out.println(

2017-02-17 10:20:29 433

转载 起点:如何成为一名黑客?

说明: 这篇文章是对 ESR 的经典文章 How to become a hacker ? 的最新修订翻译,参照了一些国内的翻译版本,某种意义上来讲,这不仅仅是一篇黑客入门的读物,也是很不错的编程入门指导。什么是黑客?黑客字典 中对“黑客”一词给出了很多定义,大部分定义都涉及高超的编程技术,解决问题和克服限制的乐趣。如果你想知道如何成为一名黑客,只有两方面是非常重要的:态度和技

2017-01-09 19:28:35 951

原创 JTable获得修改后单元格的值

问题还原,如图:更新前: 现在要把666改成1,点击更新后,你会发现更新后单元格还处于编辑状态,或者TableModel.getValueAt(0,1)获取的还是原来的值“666”。我们现在是想把“1”这个值更新进去,该怎么办呢?这里只需要加一条语句就可以:cellEditor.stopCellEditing();JTextField textFld = new JTextField();D

2017-01-06 17:41:17 7148 1

原创 完美激活 myeclipse2014 for macOS 10.x

一、下载安装包:https://pan.baidu.com/s/1mhKm0v2 my eclipse 2014 for mac 需要 idk 6.0 for mac 环境, idk下载地址: https://support.apple.com/kb/DL1572?viewlocale=zh_CN&locale=zh_CN二、三、此处安装pro版,激活过

2016-12-30 19:09:50 651 1

原创 执行到digester.addBeanPropertySetter报NoClassDefFoundError问题

Java.lang.NoClassDefFoundError:org/apache/commons/beanutils /DynaProperty原因:创建bean的时候没有该类,缺少类,一般该问题是缺少jar包,导入commons-beanutils-1.7.0.jar即可。

2016-12-16 17:46:33 488

原创 linux 下打开162端口命令

运行网管类软件需要监听162trap端口,需要开启,Windows默认开启,Linux需要命令开启:打开端口: iptables -A INPUT -p udp –dport 162 -j ACCEPT 关掉端口: iptables -A OUPUT -p udp –dport $162 -j DROP查看端口运行情况: service iptables status

2016-12-07 11:21:15 3347

转载 细说业务逻辑

前言      记得几个月前,在一次北京博客园俱乐部的活动上,最后一个环节是话题自由讨论。就是提几个话题,然后大家各自加入感兴趣的话题小组,进行自由讨论。当时金色海洋同学提出了一个话题——“什么是业务逻辑”。当时我和大家讨论ASP.NET MVC的相关话题去了,就没能加入“业务逻辑”组的讨论,比较遗憾。      其实,一段时间内,我脑子里对“业务逻辑”的概念也是非常模糊的。但在不

2016-11-08 11:11:00 344

原创 阿里云Maven仓库地址

http://maven.aliyun.com/nexus/#view-repositories;public~browsestorage在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexu

2016-11-04 01:21:53 361

原创 bat文件直接进入某个盘符目录

@echo off echo 请输入文件路径: set /p pan= cmd /k cd /d %pan% & service.bat install

2016-10-27 11:27:00 9442

转载 Java应用定制工厂--jar转exe制作工具

Java应用定制工厂(以下简称为JCB,Java Customization Builder)是一个针对Java轻量级桌面应用进行精简优化的小工具,使用它可以精简你的jar包,并自动生成一个精简的JRE,也可以使用它生成一个Exe启动引导程序,并且能够对你的Java应用自动做Pack200和Unpack200处理。使用本工具定制的Java桌面应用通常不会超过10M(包含JRE),SWT客户端程序相对

2016-10-10 16:05:32 1337

原创 一个不错的正则表达式学习网站

http://www.regexlab.com/一个专门学习和研究正则表达式的网站。您可以在这里学习正则表达式,也可以在这里找到实用的工具和应用。

2016-10-10 15:47:00 400

转载 2016 年最受欢迎的编程语言是什么?

这两天 GitHub 对其官网进行了改版,紧接着又发布了一年一度的开源报告,我们程序员比较关心之后的趋势是什么,而 GitHub 毫无疑问代表了全世界编程领域的趋势,我们不妨先来解读下这份报告,然后再解答下你们关注的标题的答案。事先声明,本篇文章的一些数据完全来自这份报告,地址在这里:https://octoverse.github.com/最流行的开源项目首先发布

2016-10-09 15:05:47 506

转载 高可用术语解释:Split-Brain

脑裂:本来一个大脑的两半球互相配合,变成了分裂成两个独立的大脑,都认为对方已死。在集群环境中,有这么几种可能造成"Split-Brain"现象:1、在集群环境中的节点间的心跳线同时断掉后,集群系统所处于的一种特殊状态。例如节点1和2组成一个集群,突然1和2间的心跳同时都断了,如果此前节点1正在运行应用,心跳都断掉后2开始去接管应用,强行加载数据,此时就是split-brain。2、集群中节点因为处

2016-08-25 22:11:16 1327

原创 linux中时间服务器同步问题:ntpdate[5426]: the NTP socket is in use, exiting

问题的原因是ntpd服务正在运行,需要将其停止运行。如下图:

2016-08-25 02:13:06 633

jsmooth-0.9.9-7-setup.exe

jsmooth-0.9.9-7-setup.exe

2016-10-10

jar2exe 1.8.2破解版

jar2exe 1.8.2破解版

2016-10-10

google大数据三大论文中英版合集

google大数据三大论文中文版,英文版合集,总共六个pdf文档。

2016-08-12

轻量级Java+EE企业应用实战(第4版)光盘资料

轻量级Java+EE企业应用实战(第4版)光盘资料下载

2016-08-12

IpAddressField java IP地址格式的输入框源码

一个ip地址格式输入框类,可以直接调用new 对象,IpAddressField ipAddrFld = new IpAddressField();

2016-08-09

Java开发Windows托盘程序的类库systray4j.dll

包括systray4j.dll,systray4j.jar,example,doc

2016-06-30

ArcObjects SDK for java jar 包

ArcObjects SDK for java jar 包

2016-03-15

MG-SOFT mib browser

MG-SOFT mib browser破解版

2015-11-24

Sublime Text 3(代码编辑器) v3.0.3095 汉化版(32位/64位)

1、基于 Sublime Text 3 官方版进行修改汉化 2、软件已默认注册且已去除自动检测升级提示 3、调整字体大小为 11px 以适合大众使用习惯 4、深度整合GBK编码已能够完美支持GBK文件 5、默认安装了Emmet (Zen Coding) 插件 6、增加了配色非常舒服的Theme-Nil主题 7、修改多处细节和配置文件使其更人性化

2015-10-28

MG MibBrowser 8.0c破解版

MG MibBrowser 8.0c破解版

2015-10-19

css3.0参考手册

css3.0参考手册,在此分享,希望对大家有用。

2014-08-06

HTML、css、javascript学习手册集合

本资源包括:CSS3.0(飘零雾雨版)手册、CSS3.0(腾讯ISD版)手册、HTML5(W3CSchool版)、HTML5+CSS3中文参考手册等4款手册。整理很全面,在此分享给大家,希望对大家有用。

2014-08-06

常用的正则表达式大全

本资源包括:校验数字、校验字符、特殊需求校验等,整理非常全面,非常实用,在此分享给大家。

2014-08-06

一款非常好用的日期控件

支持静态限制,动态限制,脚本自定义限制,以及无效天和无效日期功能,利用这样功能可以任意定制不能选择的日期,这些日期即使毫无规律,毫无连续性,也可以通过这些功能的组合使用轻松搞定·更人性化,更全面的功能,强大的日期范围限制功能,自定义事件和丰富的API库,多语言支持和自定义皮肤支持,跨无限级框架显示和自动选择显示位置。

2014-08-06

C#登录注册源码

这是我自己做的登录注册页面,花了我较长的时间,做的不是很好,但功能基本能够实现,采用了正则表达式、javascript、JQuery等技术进行用户名、密码等等的验证。在此分享给大家,希望大家给出指导意见。

2014-08-06

My97DatePicker日期控件

大部分日期控件都具备功能如:带时间显示,支持周显示,自定义格式,自动纠错,智能纠错,起始日期,操作按钮自定义,快速选择日期,支持多种调用模式等,My97DatePicker在这些方面做得更全面,更人性化,并且速度一流.

2014-08-06

w3school5.0最新版手册

W3School 是因特网上最大的 WEB 开发者资源,是完全免费的,是非盈利性的,一直在升级和更新,是 W3C 中国社区成员,致力于推广 W3C 标准技术。 W3CSchool 是因特网上最大的 WEB 开发者资源 W3CSchool 是完全免费的 W3CSchool 是非盈利性的 W3CSchool 一直在升级和更新 W3CSchool 是 W3C 中国社区成员,致力于推广 W3C 标准技术

2014-08-06

算法导论 第三版 批注版.pdf

算法导论》原书名 《Introduction to Algorithms》 是一本十分经典的计算机算法书籍 与高德纳(Donald E Knuth)的《计算机程序设计艺术》(《The Art Of Computer Programming》)

2018-03-09

《Maven实战》完整高清版.pdf

《Maven实战》徐晓斌 完整高清版.pdf

2017-08-14

sourceinsight4.0.0086含注册文件

sourceinsight4.0.0086含注册文件,亲测能用。

2017-08-09

微软运行库集合2017

微软运行库集合2017

2017-05-10

免安装版MySQL

此免安装版MySQL是从官方免安装版MySQL精简优化而来,官方版本800多M,此版本只有10M左右,满足一般需求。配置文件需要根据实际情况进行配置。里面还包含了注册系统服务脚本和删除系统服务脚本。绝对可用,不可用邮件我dudefu@foxmail.com.

2017-03-14

dbforge_for_mysql_7.1.31破解版

dbforge_for_mysql_7.1.31版本,内附破解文件,将破解文件放到安装目录下,点击运行破解,再运行软件即可。

2017-01-10

WIN10水印去除

win10最新版水印去除工具,完美去除。

2016-12-29

jdk1.5-32位

2016-12-23

跨平台打包软件Jexpress

跨平台打包软件

2016-12-09

myeclipse-2016-ci-7-offline 激活工具

myeclipse-2016-ci-7-offline 激活工具,亲测可用。

2016-11-10

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码3

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码3

2016-11-08

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码2

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码2

2016-11-08

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码1

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码1

2016-11-08

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码

布局Java EE企业级开发:寻觅框架和开发模式的完美整合_光盘源码

2016-11-08

SQLyog-12.0.9-0.x64

SQLyog-12.0.9-0.x64 社区免费版 不需要破解,直接安装使用

2016-11-02

SQLyog 12.9 x86 免费版

SQLyog 12.9 x86 免费版

2016-11-02

Java Customization Builder

java应用定制工厂,将jar打包成exe的一款工具。具有精简jre的功能。

2016-10-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除