- 博客(24)
- 收藏
- 关注
RSS订阅原创 Spark中如何划分stage
参考stage划分 - 1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,g...
2018-08-04 16:14:18
1879
原创 mysql 安装以后的操作
1.启动和关闭mysql启动mysql： service mysql start关闭mysql： service mysql stop重启mysql: service mysql restart2.添加密码 5.5版本/usr/bin/mysqladmin -u root password ‘123456’5.6版本如果是安装的5.6，会生成随机密码：1）...
2018-05-04 14:39:13
233
原创 azkaban的安装配置
1 准备文件1.Azkaban Web服务器azkaban-web-server-2.5.0.tar.gz2.Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz3.azkaban脚本导入azkaban-sql-script-2.5.0.tar.gz4.MySQL目前azkaban只支持 mysql,需安装mysql服务器,本文档...
2018-04-09 22:33:22
467
原创 安装sqoop
安装sqoop的前提是已经具备java和hadoop的环境。 - 1. 下载并解压， 重命名tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzmv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop修改配置文件$ cd $SQOOP_HOME/conf$ cp sqoop-env-temp...
2018-04-08 22:08:46
218
原创 linux使用yum命令安装telnet
在安装测试flume的时候发现没有安装telnet， 顺便总结记录了一下yum、rpm命令的使用。 如果没有安装telnet的话, 需要使用yum命令安装. - 1，先检查是否安装了telnet ： rpm -qa | grep telnet-2. 然后检查yum列表里面有什么[root@slave01 ~]# yum list | grep telnettelnet-se...
2018-04-08 21:49:07
56004
原创 Hive的安装配置
首先, 安装java, mysql, hadoop环境，Hive只在一个节点上安装即可， 这里我安装在master上面。1.上传tar包至/usr/myapp/hadoop2.解压 tar -zxvf hive-0.9.0.tar.gz 重命名为hive3.检查mysql是否运行service mysql status 登陆mysql mysql -u root -p123456...
2018-04-05 14:31:16
123
转载 ssh免密码登录配置
首先，说明一下我们要做的是，serverA 服务器的 usera 用户免密码登录 serverB 服务器的 userb用户。我们先使用usera 登录 serverA 服务器[root@serverA ~]# su - usera [usera@serverA ~]$ pwd /home/usera 然后在serverA上生成密钥对[usera@serverA ~
2018-02-06 14:16:39
246
原创 Linux安装JDK、Tomcat、MySQL基础软件
一. 安装JDK安装完Centos6.5的Base Server版会默认安装OpenJDK，首先需要删除OpenJDK1.1查看之前的jdk查看以前是不是安装了openjdk 如果不是root用户需要切换到root用户（su - root）命令：rpm -qa | grep java显示如下：（有则卸载，没有就不用），注意版本可能会有些不一样，以实际操作的为准。[...
2018-02-04 15:07:30
217
转载 jvm面试都有什么问题？
Java的虚拟机的面试内容主要包括三部分：GC、类加载机制，以及内存。 一个GC部分简单的连环炮。面试官可以先问你什么时候一个对象会被GC？ 接着继续问你为什么要在这种时候对象才会被GC？ 接着继续问你GC策略都有哪些分类？ 你如果说出来了，继续问你这些策略分别都有什么优劣势？都适用于什么场景？ 你继续说出来了以后，给你举个实际的场景，让你选择一个GC策略？ 你
2018-02-01 09:27:47
253
原创 JPS命令详解
jps是jdk提供的一个查看当前java进程的小工具， 可以看做是JavaVirtual Machine Process Status Tool的缩写。命令格式：jps [options ] [ hostid ] [options]选项 ： -q：仅输出VM标识符，不包括classname,jar name,arguments in main method -m：输出main me
2018-01-26 12:34:46
646
原创 记录jedis.exceptions.JedisDataException
最近项目经常报错，由于用户的登录信息存储在redis中,故导致用户无法登陆，已登录状态也无法进行其他操作。关键信息: JedisDataException: ERR max number of clients reachedRedis报错信息2018-01-26 11:05:20.365,INFO ,o.s.c.support.PostProcessorRegistra
2018-01-26 12:08:32
1257
转载 CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I
2018-01-25 23:11:36
135
原创 查看jvm内存信息
打开linux控制台：// 获取Java进程的pid$ jps //是JDK 1.5提供的一个显示当前所有java进程pid的命令28461 Jps22153 Bootstrap$ jstat -gcutil 22153 1000 S0 S1 E O P YGC YGCT FGC FGCT GCT
2018-01-25 21:34:00
679
原创 通过IO流的方式从WebApp里面下载文件
从WebApp里面下载Excel文件，文件路径： 1.Controller层代码:/*** 设备管理——导入模板下载 * * @param requestType 下载标记 * @return */@RequestMapping(value = "/downLoadImportTemplate")@ResponseBodypublic ResponseResult d
2018-01-25 20:10:46
2279
原创 项目线上问题记录
一、20171116全量数据实时导出1.1测试忽略了大小月的测试；1.2修复紧急版本时，忽略了对县级的测试。二、20171214 CIF1.5和乡邻app2.1 response里面不能返回null；2.2 编写代码不仅要简短， 还要考虑能够方便后期调试；2.3 将统一的返回对象response的成功码由1000修改为200000，但是CIF另外还有一处POSRegis
2018-01-25 19:49:58
315
原创 记录一次OOM堆内存溢出
事件概述页面点击导出所有数据， 由于数据量过大，消费方通过分页查询的方式从服务方分页获取所有数据，存放在list中。 然后将list中大概六万条数据转化为Excel文件下载， 此时发生java.lang.OutOfMemoryError: Java heap space,堆内存溢出。/** * 分页查询获取所有的数据 * * @param page
2018-01-25 19:24:35
390
原创 常用mysql语句
1. 数据迁移(将A表数据查询出来更新到B表)– 将cif_customer_credentials的证件类型，身份证号码，认证状态同步至cif_customerUPDATE cif_customer a, cif_customer_credentials cSET a.CREDENTIALS_TYPE = c.CREDENTIALS_TYPE, a.CREDEN
2017-12-06 16:59:32
155
原创 SQLYog实用快捷键
Ctrl+M 创建一个新的连接 Ctrl+N 使用当前设置新建连接 Ctrl+F4 断开当前连接对象浏览器 F5 刷新对象浏览器(默认) Ctrl+B 设置焦点于对象浏览器SQL 窗口 Ctrl+T 新建查询编辑器 Ctrl+E 设置焦点于 SQL 窗口 Ctrl+Y 重做 Ctrl+Z 撤销 Ctrl+X 剪切 Ctrl+V 粘贴
2017-11-29 20:59:56
358
原创 IDEA快捷键整理
1.重命名:shift+F6 2.上下移动代码:Ctrl+shift+up/down 3.点击进入该方法:Ctrl+Shift+左击 4.创建万物(getter, setter方法):Alt+Insert 5.注释(包括取消): a:普通注释:Ctrl+/ b:多行注释:Ctrl+Shift+/ c:文档注释: 6.显示注释文档:Ctrl+Q 7.回到上
2017-11-29 10:55:07
173
1
原创 常见异常
一、Struts21.1 NoSuchBeanDefinitionException 异常描述：没有suchbean定义异常：没有匹配的PlatformTransactionManager Bean异常信息: org.springframework.bean
2017-08-07 10:54:31
1394
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人